Криптo T нужно бояться GPT-3. Она должна принять ее

Jesus Rodriguez — генеральный директор IntoTheBlock, платформы рыночной аналитики для Криптo . Он занимал руководящие должности в крупных Технологии компаниях и хедж-фондах. Он активный инвестор, спикер, автор и приглашенный лектор в Колумбийском университете.

За последние несколько дней в Криптo произошел взрыв комментариев о новой модели генератора языка GPT-3 от OpenAI. Некоторые комментарии выражают полезное любопытство по поводу GPT-3, в то время как другие BIT переходят в крайность, утверждая, что Криптo должно быть в ужасе от этого.

Интерес несколько удивителен, поскольку модели GPT не являются чем-то новым, и они уже больше года находятся в центре внимания в сообществе машинного обучения. Исследования, лежащие в основепервая модель GPT была опубликована в июне 2018 года, с последующим GPT-2 в феврале 2019 г. и последний раз GPT-3 два месяца назад.

Смотрите также:Что такое GPT-3 и стоит ли нам бояться?

Я думаю, что маловероятно, что GPT-3 сам по себе может оказать значительное влияние на Криптo . Однако методы, лежащие в основе GPT-3, представляют собой самый большой прогресс в глубоком обучении за последние несколько лет и, следовательно, могут стать невероятно релевантными для анализа криптоактивов. В этой статье я хотел бы уделить несколько минут, чтобы углубиться в некоторые концепции, лежащие в основе GPT-3, и контекстуализировать их в Криптo .

Что такое GPT-3?

GPT-3 — это огромная модель понимания естественного языка (NLU), которая использует ошеломляющие 175 миллиардов параметров для решения нескольких языковых задач. Размер делает GPT-3 крупнейшей моделью NLU в мире, превосходящей Turing-NLG от Microsoft и ее предшественника GPT-2.

GPT-3 способен выполнять несколько языковых задач, таких как машинный перевод, ответы на вопросы, языковой анализ и, конечно же, генерация текста. GPT-3 привлек внимание СМИ своей способностью генерировать поддельный текст, неотличимый от настоящего.

Какое отношение это имеет к Криптo? Представьте себе возможность регулярно генерировать фейковые пресс-релизы, которые двигают цену более мелких Криптo ? Звучит как страшная угроза, но это не самая важная часть GPT-3.

GPT-3 — это языковая модель, и, следовательно, она работает с использованием текстовых наборов данных. С точки зрения рынка Криптo эта возможность крута, но, конечно, не так уж и интересна. На что нам действительно следует обратить внимание, так это на методы, лежащие в основе GPT3.

Магия GPT-3

GPT-3 основан на новой архитектуре глубокого обучения, известной как трансформеры. Концепция трансформеров была первоначально изложена в статье "Внимание — это все, что вам нужно», опубликованной в 2017 году членами команды Google Brain.

Главным новшеством архитектуры трансформатора является концепция «внимания» (отсюда и название статьи). Внимание обычно используется в типе проблемы, известной как Seq2Seq, в которой модель обрабатывает последовательность элементов (слов, букв, чисел) и выводит другую последовательность. Этот тип проблемы невероятно распространен в сценариях языкового интеллекта, таких как генерация текста, машинный перевод, ответы на вопросы и т. д.

Каждый раз, когда вы видите сценарий Seq2Seq, вы должны связать его с тем, что называется архитектурами кодировщика-декодера. Кодировщики захватывают контекст входной последовательности и передают его декодеру, который создает выходную последовательность. Механизмы внимания устраняют ограничения традиционных архитектур нейронных сетей, определяя ключевые аспекты входных данных, на которые следует «обратить внимание».

Традиционные архитектуры глубокого обучения требуют постоянной обратной связи между кодировщиками и декодерами, что делает их крайне неэффективными.

Подумайте о сценарии машинного перевода с испанского на английский. Обычно декодер переводит испанский текстовый ввод в промежуточное представление, известное как «воображаемый язык», который будет использоваться декодером для перевода на английский. Более традиционные архитектуры глубокого обучения требуют постоянной обратной связи между кодировщиками и декодерами, что делает их крайне неэффективными.

Концептуально механизмы внимания смотрят на входную последовательность и решают на каждом шаге, какие еще части последовательности важны. Например, в сценарии машинного перевода механизм внимания будет выделять слова, на которые декодер «должен обратить внимание», чтобы выполнить перевод.

Архитектура трансформатора, которая питала такие модели, как GPT-3, является традиционной архитектурой кодера-декодера, которая вставляет блоки внимания для повышения эффективности. Роль этого блока заключается в том, чтобы просматривать весь вход и текущие выходы и выводить зависимости, которые помогут оптимизировать производство конечного выхода.

Архитектура transformer создала модели, которые можно обучать на массивно больших наборах данных и которые можно эффективно распараллеливать. Неудивительно, что после оригинальной статьи Google началась гонка за создание супербольших моделей, которые справляются с различными языковыми задачами.BERT от Google,Роберта из Facebook,Turing-NLG от Microsoft и OpenAI GPT-3являются более новыми примерами этих моделей.

GPT-2 поразил мир, работая с использованием 1,5 миллиарда параметров. Этот рекорд был побит Turing-NLG от Microsoft, который использовал 17 миллиардов параметров, только GPT-3 использовал смехотворные 175 миллиардов параметров. Все это произошло за год. Все просто: когда дело касается трансформеров, больше — лучше.

См. также: Бен Герцель -ИИ для всех: суперумные системы, вознаграждающие создателей данных

Первое поколение архитектур трансформаторов было сосредоточено на языковых задачах. Но такие компании, какФейсбук и OpenAIопубликовали недавнее исследование, адаптирующее модели трансформаторов к классификации изображений. Вы можете подумать, что это просто попытка сгенерировать поддельные изображения. Но влияние выходит далеко за рамки этого.

Генерация поддельных изображений очень важна для оптимизации обучения моделей классификации изображений при отсутствии больших маркированных наборов данных. Былипопытки адаптировать трансформаторы к финансовым временным рядам данных, в надежде, что они смогут усовершенствовать количественные торговые стратегии.

Трансформеры и Криптo

Теперь, когда у нас есть некоторый контекст, связанный с трансформаторами и GPT-3, мы можем вернуться к первоначальному вопросу. Действительно ли GPT-3 страшен для Криптo ?

Конечно, перспектива моделей, которые могут генерировать фейковые новости, которые двигают Криптo , — это не шутки. Но я думаю, что в своей нынешней форме GPT-3 не представляет угрозы для Криптo . Что еще интереснее, так это влияние, которое архитектуры трансформаторов могут оказать на следующее поколение решений Криптo . Вот несколько реальных сценариев для рассмотрения:

Торговые стратегии. Очевидно, если трансформаторы докажут свою применимость к финансовым наборам данных, они могут оказать существенное влияние на Quant стратегии для Криптo . Глубокие нейронные сети в целом открывают новые горизонты в количественной торговле. От базовых моделей машинного обучения, таких как линейная регрессия или деревья решений, Quant фонды теперь рассматривают сложные стратегии глубокого обучения.

Будучи изначально цифровыми, Криптo являются идеальным классом активов для Quant стратегий. Такие методы, как рекуррентные нейронные сети (RNN) и сверточные нейронные сети (CNN), приобрели популярность в Quant пространстве и, по-видимому, хорошо работают в Криптo. Как и в языковом анализе, трансформаторы могут иметь преимущество перед CNN и RNN, особенно когда речь идет о фокусировке «внимания» на нескольких сегментах набора данных (например, в марте 2020 г. Bitcoinсбой), а также работать с очень большими объемами записей (например, транзакциями блокчейна).

Более интересным является то влияние, которое архитектуры трансформаторов могут оказать на следующее поколение решений Криптo разведки.

Анализ блокчейна.Трансформаторы могут быть адаптированы для обнаружения закономерностей в блокчейнах более эффективными с вычислительной точки зрения способами, чем текущие методы. Часть магии трансформаторов заключается в их способности «сосредоточить внимание» на определенных частях входного набора данных и вывести потенциальные результаты. Представьте себе сценарий, в котором мы анализируем транзакции или потоки майнинга Bitcoin на биржах и пытаемся экстраполировать закономерности в активности книги заказов. Трансформаторы кажутся особенно хорошо подготовленными для решения этой задачи.

Децентрализованные трансформаторы.Продолжаются попытки адаптировать модели трансформаторов к децентрализованным архитектурам ИИ, таким какSingularityNET. Этот тип варианта использования может расширить использование трансформаторов до сценариев, которые мы еще T представляли. До сих пор модели трансформаторов, такие как GPT-3, были привилегией крупных корпоративных лабораторий ИИ, которые имеют данные и ресурсы для создания и эксплуатации таких массивных нейронных сетей. Децентрализованный ИИ предлагает альтернативу, в которой обучение, выполнение и мониторинг трансформаторов могут происходить в децентрализованных сетях, которые работают на основе механизмов стимулирования.

Подобно тому, как другие архитектуры нейронных сетей способны работать в децентрализованных инфраструктурах, не будет безумием думать, что вскоре мы увидим модели, подобные GPT-3, работающие на децентрализованных платформах ИИ, таких как SingularityNET или Ocean Protocol.

GPT-3 и архитектура трансформатора представляют собой крупный прорыв в истории глубокого обучения. В ближайшие несколько лет мы, вероятно, увидим, как трансформаторы повлияют на все основные области глубокого обучения, и это влияние, вероятно, распространится на финансовые Рынки. Криптo должна стать бенефициаром этих прорывов.

Да, GPT-3 впечатляет, но нет причин для ужаса. Наоборот, мы должны работать над адаптацией этих крупных достижений ИИ и сделать Криптo самым интеллектуальным классом активов в истории.