Крипто T варто боятися GPT-3. Це повинно прийняти це

Хесус Родрігес є генеральним директором IntoTheBlock, платформи ринкової інформації для Крипто . Він займав керівні посади у великих Технології компаніях і хедж-фондах. Він є активним інвестором, спікером, автором і запрошеним лектором у Колумбійському університеті.

Протягом останніх кількох днів у Крипто стався вибух коментарів щодо нової моделі генератора мови GPT-3 від OpenAI. Деякі з коментарів висловлюють корисну цікавість щодо GPT-3, тоді як інші є BIT крайніми, стверджуючи, що Крипто повинна бути налякана цим.

Інтерес дещо дивний, оскільки моделі GPT не зовсім нові, і вони вже більше року займають заголовки в спільноті машинного навчання. Дослідження позаду перша модель GPT була опублікована в червні 2018 року, а потім ГПТ-2 у лютому 2019 року і востаннє GPT-3 два місяці тому.

Дивіться також: Що таке GPT-3 і чи варто нам лякатися?

Я думаю, малоймовірно, що GPT-3 сам по собі може мати серйозний вплив на Крипто екосистему. Проте методи, що лежать в основі GPT-3, є найбільшим прогресом у глибокому навчанні за останні кілька років і, отже, можуть стати неймовірно актуальними для аналізу криптоактивів. У цій статті я хотів би витратити кілька хвилин, щоб зануритися в деякі концепції, що лежать в основі GPT-3, і контекстуалізувати їх у Крипто .

Що таке GPT-3?

GPT-3 — це величезна модель розуміння природної мови (NLU), яка використовує вражаючі 175 мільярдів параметрів для виконання кількох мовних завдань. Розмір робить GPT-3 найбільшою моделлю NLU у світі, перевершуючи Turing-NLG від Microsoft та її попередника GPT-2.

GPT-3 здатний виконувати кілька мовних завдань, таких як машинний переклад, відповіді на запитання, аналіз мови і, звичайно, генерація тексту. GPT-3 привернув увагу ЗМІ своєю здатністю генерувати підроблений текст, який неможливо відрізнити від справжнього.

Наскільки це актуально для Крипто? Уявіть собі можливість регулярно генерувати підроблені прес-релізи, які змінюють ціну менших Крипто ? Звучить як страшна загроза, але це не найважливіша частина GPT-3.

GPT-3 є моделлю на основі мови і, отже, працює з використанням текстових наборів даних. З точки зору Крипто , ця можливість є крутою, але точно не такою цікавою. На що ми дійсно повинні звернути увагу, так це на методи, що лежать в основі GPT3.

Магія GPT-3

GPT-3 базується на новій архітектурі глибокого навчання, відомої як transformers. Концепція трансформаторів спочатку була викладена в статті "Увага — це все, що вам потрібно», опублікований у 2017 році членами команди Google Brain.

Основним нововведенням архітектури трансформатора є концепція «уваги» (звідси і назва статті). Увага зазвичай використовується в типі проблеми, відомому як Seq2Seq, у якій модель обробляє послідовність елементів (слів, букв, цифр) і виводить іншу послідовність. Цей тип проблеми надзвичайно поширений у сценаріях мовного інтелекту, таких як створення тексту, машинний переклад, відповіді на запитання тощо.

Щоразу, коли ви бачите сценарій Seq2Seq, ви повинні пов’язувати його з так званими архітектурами кодера-декодера. Кодери фіксують контекст вхідної послідовності та передають його декодеру, який створює вихідну послідовність. Механізми звернення уваги усувають обмеження традиційних архітектур нейронних мереж, визначаючи ключові аспекти вхідних даних, на які слід «звернути увагу».

Традиційні архітектури глибокого навчання потребують постійного зворотного зв’язку між кодерами та декодерами, що робить їх дуже неефективними.

Подумайте про сценарій машинного перекладу з іспанської на англійську. Як правило, декодер перекладає введений іспанським текст у проміжне представлення, відоме як «уявна мова», яка використовуватиметься декодером для перекладу англійською мовою. Більш традиційні архітектури глибокого навчання потребують постійного зворотного зв’язку між кодерами та декодерами, що робить їх дуже неефективними.

Концептуально механізми уваги дивляться на вхідну послідовність і вирішують на кожному кроці, які інші частини послідовності важливі. Наприклад, у сценарії машинного перекладу механізм уваги виділятиме слова, на які декодер «повинен звернути увагу» для виконання перекладу.

Трансформаторна архітектура, яка працює в таких моделях, як GPT-3, є традиційною архітектурою кодера-декодера, яка вставляє блоки уваги для підвищення ефективності. Роль цього блоку полягає в тому, щоб переглянути всі вхідні та поточні виходи та зробити висновок про залежності, які допоможуть оптимізувати виробництво кінцевого виходу.

Трансформаторна архітектура створила моделі, які можна навчати на величезних масивах даних і ефективно розпаралелювати. Не дивно, що після оригінальної статті Google розгорнулася гонка за створення надвеликих моделей, які опановують різні мовні завдання. Google BERT, RoBERTa з Facebook, Turing-NLG від Microsoft і OpenAI GPT-3 новіші приклади цих моделей.

GPT-2 вразив світ, працюючи з використанням 1,5 мільярда параметрів. Цей рекорд був побитий Turing-NLG від Microsoft, який використовував 17 мільярдів параметрів, а GPT-3 використовував смішні 175 мільярдів параметрів. Все це сталося за рік. Зрозуміло і просто: коли йдеться про трансформатори, що більше, то краще.

Дивіться також: Бен Герцель - ШІ для всіх: суперрозумні системи, які винагороджують творців даних

Перше покоління трансформаторних архітектур було зосереджено на мовних завданнях. Але компанії люблять Facebook і OpenAI опублікували нещодавні дослідження адаптації моделей трансформаторів до класифікації зображень. Ви можете подумати, що це просто спроба створити підроблені зображення. Але вплив виходить далеко за межі цього.

Генерація підроблених зображень надзвичайно важлива для оптимізації навчання моделей класифікації зображень за відсутності великих наборів даних з мітками. Були спроби адаптації трансформаторів до наборів даних фінансових часових рядів, з надією, що вони зможуть просунути кількісні торгові стратегії.

Трансформери та Крипто

Тепер, коли ми маємо деякий контекст, пов’язаний з трансформаторами та GPT-3, ми можемо повернутися до початкового запитання. Чи справді GPT-3 страшний для Крипто ?

Звичайно, з перспективою моделей, які можуть генерувати фейкові новини, які рухатимуть Крипто Ринки , не варто жартувати. Але я думаю, що в його нинішньому вигляді GPT-3 не становить загрози для Крипто . Що ще цікавіше, так це вплив, який трансформаторні архітектури можуть мати на наступне покоління рішень Крипто інтелекту. Ось кілька реальних сценаріїв, які варто розглянути:

Торгові стратегії. Очевидно, якщо буде доведено, що трансформатори застосовні до наборів фінансових даних, вони можуть мати великий вплив на Quant стратегії для Крипто . Глибокі нейронні мережі загалом відкривають нові межі кількісної торгівлі. Від базових моделей машинного навчання, таких як лінійна регресія або дерева рішень, Quant фонди зараз шукають складні стратегії глибокого навчання.

Оскільки Крипто є цифровою, вона є ідеальним класом активів для Quant стратегій. Такі методи, як рекурентні нейронні мережі (RNN) і згорткові нейронні мережі (CNN), набули популярності в Quant просторі та, здається, добре працюють у Крипто. Так само, як і в мовному аналізі, трансформатори можуть мати перевагу над CNN і RNN, зокрема, коли йдеться про зосередження «уваги» на кількох сегментах набору даних (наприклад, протягом березня 2020 р. Bitcoin збій), а також працювати з величезними обсягами записів (наприклад, транзакції блокчейну).

Більш цікавим є вплив, який трансформаторні архітектури можуть мати на наступне покоління рішень Крипто інтелекту.

Аналіз блокчейна. Трансформери можна адаптувати для виявлення шаблонів у блокчейнах більш ефективними з обчислювальної точки зору способами, ніж поточні методи. Частиною магії трансформаторів є їх здатність «зосереджувати увагу» на певних частинах вхідного набору даних і робити висновок про потенційні результати. Уявіть собі сценарій, у якому ми аналізуємо транзакції майнінгу Bitcoin або потоки до бірж і намагаємося екстраполювати закономірності в діяльності книги замовлень. Трансформери здаються особливо добре оснащеними для виконання цього завдання.

Децентралізовані трансформатори. Тривають спроби адаптувати моделі трансформаторів до децентралізованих архітектур штучного інтелекту SingularityNET. Цей тип використання може розширити використання трансформаторів до сценаріїв, які ми ще T уявляли. Досі моделі трансформаторів, такі як GPT-3, були привілеєм великих корпоративних лабораторій штучного інтелекту, які мають дані та ресурси для створення та експлуатації таких масивних нейронних мереж. Децентралізований ШІ пропонує альтернативу, в якій навчання, виконання та моніторинг трансформаторів можуть відбуватися в децентралізованих мережах, які працюють на основі механізмів стимулювання.

Подібно до того, як інші архітектури нейронних мереж можуть працювати в децентралізованих інфраструктурах, не буде божевіллям думати, що незабаром ми побачимо такі моделі, як GPT-3, що працюють на децентралізованих платформах ШІ, таких як SingularityNET або Ocean Protocol.

GPT-3 і трансформаторна архітектура представляють великий прорив в історії глибинного навчання. У найближчі кілька років ми, ймовірно, побачимо вплив трансформаторів на кожну основну сферу глибокого навчання, і цей вплив, ймовірно, пошириться на фінансові Ринки. Крипто має отримати вигоду від цих проривів.

Так, GPT-3 вражає, але лякатися немає причин. Навпаки, ми повинні працювати над адаптацією цих основних досягнень AI і зробити Крипто найрозумнішим класом активів в історії.