Ang Crypto ay T Kailangang Matakot GPT-3. Dapat Nito Yakapin Ito

Si Jesus Rodriguez ay ang CEO ng IntoTheBlock, isang market intelligence platform para sa mga Crypto asset. Siya ay humawak ng mga tungkulin sa pamumuno sa mga pangunahing kumpanya ng Technology at mga pondo ng hedge. Siya ay isang aktibong mamumuhunan, tagapagsalita, may-akda at panauhing lektor sa Columbia University.

Sa nakalipas na ilang araw, nagkaroon ng pagsabog ng komentaryo sa komunidad ng Crypto tungkol sa bagong modelo ng generator ng wika ng OpenAI na GPT-3. Ang ilan sa mga komento ay nagpapahayag ng kapaki-pakinabang na pag-usisa tungkol sa GPT-3, habang ang iba ay BIT sukdulan, na iginiit na ang komunidad ng Crypto ay dapat matakot tungkol dito.

Ang interes ay medyo nakakagulat dahil ang mga modelo ng GPT ay hindi eksakto bago at sila ay gumagawa ng mga headline sa machine learning community sa loob ng mahigit isang taon na ngayon. Ang pananaliksik sa likod ang unang modelo ng GPT ay nai-publish noong Hunyo 2018, sinundan ng GPT-2 noong Pebrero 2019 at pinakahuling GPT-3 dalawang buwan na ang nakakaraan.

Tingnan din ang: Ano ang GPT-3 at Dapat Tayong Matakot?

Sa tingin ko, hindi malamang na ang GPT-3 mismo ay maaaring magkaroon ng malaking epekto sa Crypto ecosystem. Gayunpaman, ang mga diskarte sa likod ng GPT-3 ay kumakatawan sa pinakamalaking pag-unlad sa malalim na pag-aaral sa nakalipas na ilang taon at, dahil dito, ay maaaring maging hindi kapani-paniwalang nauugnay sa pagsusuri ng mga crypto-asset. Sa artikulong ito, gusto kong maglaan ng ilang minuto upang sumisid sa ilan sa mga konsepto sa likod ng GPT-3 at isakonteksto ito sa mundo ng Crypto .

Ano ang GPT-3?

Ang GPT-3 ay isang napakalaking natural na pag-unawa sa wika (NLU) na modelo na gumagamit ng kamangha-manghang 175 bilyong mga parameter upang makabisado ang ilang mga gawain sa wika. Ang laki ay ginagawang GPT-3 ang pinakamalaking modelo ng NLU sa mundo, na nalampasan ang Turing-NLG ng Microsoft at ang hinalinhan nitong GPT-2.

Nagagawa ng GPT-3 ang ilang mga gawain sa wika tulad ng pagsasalin ng makina, pagsagot sa tanong, pagsusuri sa wika at, siyempre, pagbuo ng teksto. Nakuha ng GPT-3 ang atensyon ng media para sa kakayahan nitong bumuo ng pekeng teksto na hindi matukoy ang pagkakaiba sa tunay.

Paano ito nauugnay sa Crypto? Isipin ang pagkakaroon ng kakayahang regular na bumuo ng mga pekeng press release na gumagalaw sa presyo ng mas maliliit na Crypto asset? Parang nakakatakot na banta, ngunit hindi ito ang pinakamahalagang bahagi ng GPT-3.

Ang GPT-3 ay isang modelong batay sa wika at, dahil dito, gumagana gamit ang mga textual na dataset. Mula sa pananaw ng Crypto market, ang kakayahang iyon ay cool ngunit tiyak na hindi ganoon kawili-wili. Ang dapat talaga nating bigyang pansin ay ang mga diskarte sa likod ng GPT3.

Ang magic sa likod ng GPT-3

Ang GPT-3 ay batay sa isang bagong malalim na arkitektura ng pag-aaral na kilala bilang mga transformer. Ang konsepto ng mga transformer ay orihinal na nakabalangkas sa papel "Atensyon lang ang kailangan mo," na inilathala noong 2017 ng mga miyembro ng Google Brain team.

Ang pangunahing pagbabago ng arkitektura ng transpormer ay ang konsepto ng "pansin" (kaya ang pamagat ng papel). Karaniwang ginagamit ang atensyon sa isang uri ng problema na kilala bilang Seq2Seq, kung saan pinoproseso ng isang modelo ang pagkakasunud-sunod ng mga item (mga salita, titik, numero) at naglalabas ng ibang sequence. Ang ganitong uri ng problema ay hindi kapani-paniwalang karaniwan sa mga senaryo ng katalinuhan sa wika tulad ng pagbuo ng teksto, pagsasalin ng makina, pagsagot sa tanong at iba pa.

Sa tuwing makakakita ka ng Seq2Seq scenario, dapat mo itong iugnay sa tinatawag na encoder-decoder architectures. Kinukuha ng mga encoder ang konteksto ng sequence ng input at ipinapasa ito sa decoder, na gumagawa ng output sequence. Tinutugunan ng mga mekanismo ng atensyon ang mga limitasyon ng tradisyonal na mga arkitektura ng neural network sa pamamagitan ng pagtukoy sa mga pangunahing aspeto ng input na dapat "bigyang pansin."

Ang mga tradisyonal na arkitektura ng malalim na pag-aaral ay nangangailangan ng patuloy na feedback sa pagitan ng mga encoder at decoder, na ginagawang lubos na hindi mahusay ang mga ito.

Mag-isip tungkol sa isang senaryo ng pagsasalin ng makina mula sa Espanyol patungo sa Ingles. Kadalasan, isasalin ng decoder ang Spanish text input sa isang intermediate na representasyon na kilala bilang "imaginary language" na gagamitin ng decoder para isalin ito sa English. Ang higit pang tradisyonal na mga deep learning na arkitektura ay nangangailangan ng patuloy na feedback sa pagitan ng mga encoder at decoder, na ginagawang lubhang hindi epektibo.

Sa konsepto, ang mga mekanismo ng atensyon ay tumitingin sa isang input sequence at nagpapasya sa bawat hakbang kung ano ang iba pang bahagi ng sequence na mahalaga. Halimbawa, sa isang senaryo ng pagsasalin ng makina, iha-highlight ng mekanismo ng atensyon ang mga salitang "dapat bigyang-pansin" ng decoder upang maisagawa ang pagsasalin.

Ang arkitektura ng transformer na nagpapagana ng mga modelo tulad ng GPT-3 ay isang tradisyunal na arkitektura ng encoder-decoder na naglalagay ng mga bloke ng atensyon upang mapabuti ang kahusayan. Ang tungkulin ng bloke na iyon ay tingnan ang buong input at kasalukuyang mga output at ipahiwatig ang mga dependency na makakatulong upang ma-optimize ang produksyon ng panghuling output.

Ang arkitektura ng transformer ay gumawa ng mga modelo na maaaring sanayin sa napakalaking mga dataset at maaaring maiparallelize nang mahusay. Hindi nakakagulat, pagkatapos ng orihinal na papel ng Google, nagkaroon ng karera upang bumuo ng napakalaking mga modelo na nakakabisado sa iba't ibang mga gawain sa wika. BERT ng Google, RoBERTa ng Facebook, Turing-NLG ng Microsoft at OpenAI GPT-3 ay mas bagong mga halimbawa ng mga modelong ito.

Ang GPT-2 ay namangha sa mundo sa pamamagitan ng pagpapatakbo gamit ang 1.5 bilyong mga parameter. Ang rekord na iyon ay winasak ng Turing-NLG ng Microsoft, na gumamit ng 17 bilyong parameter, para lang sa GPT-3 na gumamit ng katawa-tawang 175 bilyong parameter. Lahat ng nangyari sa loob ng isang taon. Plain at simple: pagdating sa mga transformer, mas malaki ang mas maganda.

Tingnan din: Ben Goertzel - AI para sa Lahat: Mga Super-Smart na System na Gumagantimpala sa Mga Tagalikha ng Data

Ang unang henerasyon ng mga arkitektura ng transpormer ay nakatuon sa mga gawain sa wika. Ngunit, gusto ng mga kumpanya Facebook at OpenAI nag-publish ng kamakailang pananaliksik na iniangkop ang mga modelo ng transpormer sa pag-uuri ng imahe. Maaari mong isipin na ito ay isang pagtatangka lamang na bumuo ng mga pekeng larawan. Ngunit ang epekto ay higit pa doon.

Napakahalaga ng pagbuo ng pekeng larawan upang i-streamline ang pagsasanay ng mga modelo ng pag-uuri ng larawan sa kawalan ng malalaking naka-label na dataset. Nagkaroon na sumusubok na iakma ang mga transformer sa mga financial time series na dataset, na may pag-asa na maisulong nila ang dami ng mga diskarte sa pangangalakal.

Mga transformer at Crypto asset

Ngayon na mayroon na tayong ilang konteksto na nauugnay sa mga transformer at GPT-3, maaari nating balikan ang orihinal na tanong. Talaga bang nakakatakot ang GPT-3 para sa mga asset ng Crypto ?

Oo naman, ang pag-asam ng mga modelo na maaaring makabuo ng pekeng balita na gumagalaw sa mga Markets ng Crypto ay walang biro. Ngunit sa palagay ko, sa kasalukuyang anyo nito, ang GPT-3 ay hindi kumakatawan sa isang banta para sa espasyo ng Crypto . Ang mas kawili-wili ay ang epekto ng mga arkitektura ng transformer sa susunod na henerasyon ng mga solusyon sa Crypto intelligence. Narito ang ilang totoong sitwasyon na dapat isaalang-alang:

Mga diskarte sa pangangalakal. Malinaw, kung ang mga transformer ay napatunayang naaangkop sa mga financial dataset, maaari silang magkaroon ng malaking epekto sa mga diskarte sa Quant para sa mga asset ng Crypto . Ang malalim na neural network sa pangkalahatan ay nagbubukas ng mga bagong hangganan sa dami ng kalakalan. Mula sa mga pangunahing modelo ng machine learning tulad ng linear regression o decision tree, tinitingnan na ngayon ng Quant fund ang mga sopistikadong diskarte sa deep learning.

Bilang katutubong digital, ang Crypto ay ang perpektong klase ng asset para sa mga diskarte sa Quant . Ang mga diskarte tulad ng mga paulit-ulit na neural network (RNNs) at convolutional neural network (CNNs) ay nakakuha ng katanyagan sa Quant space at mukhang mahusay na gumagana sa Crypto. Tulad ng sa pagsusuri sa wika, ang mga transformer ay maaaring magkaroon ng bentahe sa mga CNN at RNN, partikular na pagdating sa pagtutuon ng "pansin" sa ilang mga segment ng isang dataset (halimbawa, noong Marso 2020 Bitcoin crash) at nagpapatakbo din na may napakalaking dami ng mga talaan (hal. mga transaksyon sa blockchain).

Ang mas kawili-wili ay ang epekto na maaaring magkaroon ng mga transformer architecture sa susunod na henerasyon ng mga Crypto intelligence solution.

Pagsusuri ng Blockchain. Ang mga transformer ay maaaring iakma upang makita ang mga pattern sa mga blockchain sa mas mahusay na computation na paraan kaysa sa mga kasalukuyang pamamaraan. Bahagi ng magic ng mga transformer ay ang kanilang kakayahang "ituon ang atensyon" sa mga partikular na bahagi ng isang input dataset at maghinuha ng mga potensyal na output. Isipin ang isang senaryo kung saan sinusuri namin ang mga transaksyon sa pagmimina ng Bitcoin o daloy sa mga palitan at subukang i-extrapolate ang mga pattern sa aktibidad ng order book. Ang mga transformer ay tila may mahusay na kagamitan upang atakehin ang gawaing ito.

Mga desentralisadong transformer. May mga patuloy na pagsisikap na iangkop ang mga modelo ng transformer sa mga desentralisadong arkitektura ng AI tulad ng SingularityNET. Maaaring palawakin ng ganitong uri ng use case ang paggamit ng mga transformer sa mga sitwasyong T pa natin naiisip. Hanggang ngayon, ang mga modelo ng transformer tulad ng GPT-3 ay naging pribilehiyo ng malalaking corporate AI lab na mayroong data at mapagkukunan upang bumuo at magpatakbo ng mga napakalaking neural network. Nag-aalok ang Desentralisadong AI ng alternatibo, kung saan maaaring mangyari ang pagsasanay, pagpapatupad at pagsubaybay ng mga transformer sa mga desentralisadong network na gumagana batay sa mga mekanismo ng insentibo.

Tulad ng ibang neural network architecture na nagawang gumana sa mga desentralisadong imprastraktura, hindi nakakabaliw isipin na sa lalong madaling panahon makikita natin ang mga modelo tulad ng GPT-3 na tumatakbo sa mga desentralisadong AI platform tulad ng SingularityNET o ang Ocean Protocol.

Ang GPT-3 at ang arkitektura ng transformer ay kumakatawan sa isang pangunahing tagumpay sa kasaysayan ng malalim na pag-aaral. Sa susunod na ilang taon, malamang na makikita natin na naiimpluwensyahan ng mga transformer ang bawat pangunahing bahagi ng malalim na pag-aaral, at malamang na lumawak ang impluwensya sa mga Markets pinansyal . Ang Crypto ay dapat maging isang benepisyaryo ng mga tagumpay na ito.

Oo, ang GPT-3 ay kahanga-hanga, ngunit walang dahilan upang matakot. Sa kabaligtaran, dapat nating gawin ang trabaho upang iakma ang mga pangunahing tagumpay ng AI at gawin ang Crypto na pinakamatalinong klase ng asset sa kasaysayan.