Les Crypto n'ont pas à craindre GPT-3. Elles devraient l'adopter.

Jesus Rodriguez est le PDG d'IntoTheBlock, une plateforme d'analyse de marché pour les Crypto . Il a occupé des postes de direction au sein de grandes entreprises Technologies et de fonds spéculatifs. Il est investisseur actif, conférencier, auteur et conférencier invité à l'Université Columbia.

Ces derniers jours, la communauté Crypto a vu une explosion de commentaires concernant le nouveau modèle de générateur de langage GPT-3 d'OpenAI. Certains commentaires expriment une curiosité justifiée pour GPT-3, tandis que d'autres sont un BIT extrêmes, affirmant que la communauté Crypto devrait être terrifiée à son sujet.

Cet intérêt est quelque peu surprenant, car les modèles GPT ne sont pas vraiment nouveaux et font la une des journaux dans la communauté du machine learning depuis plus d'un an. Les recherches à l'origine de ces modèlesle premier modèle GPT a été publié en juin 2018, suivi de GPT-2 en février 2019 et plus récemment GPT-3 il y a deux mois.

Voir aussi :Qu’est-ce que GPT-3 et devrions-nous en avoir peur ?

Je pense qu'il est peu probable que GPT-3 puisse à lui seul avoir un impact majeur sur l'écosystème Crypto . Cependant, les techniques qui le sous-tendent représentent la plus grande avancée en apprentissage profond de ces dernières années et, par conséquent, peuvent devenir extrêmement pertinentes pour l'analyse des crypto-actifs. Dans cet article, je souhaite prendre quelques minutes pour approfondir certains des concepts qui sous-tendent GPT-3 et les contextualiser au monde Crypto .

Qu'est-ce que GPT-3 ?

GPT-3 est un modèle de compréhension du langage naturel (NLU) de très grande taille, utilisant pas moins de 175 milliards de paramètres pour maîtriser plusieurs tâches linguistiques. Sa taille fait de GPT-3 le plus grand modèle NLU au monde, surpassant Turing-NLG de Microsoft et son prédécesseur GPT-2.

GPT-3 est capable d'effectuer plusieurs tâches linguistiques, telles que la traduction automatique, la réponse aux questions, l'analyse linguistique et, bien sûr, la génération de texte. GPT-3 a attiré l'attention des médias grâce à sa capacité à générer du faux texte, impossible à distinguer du vrai.

Quel est l'intérêt pour les Crypto? Imaginez pouvoir générer régulièrement de faux communiqués de presse qui influencent le prix des Crypto de moindre envergure ? Cela peut paraître une menace inquiétante, mais ce n'est pas l'aspect le plus important de GPT-3.

GPT-3 est un modèle basé sur le langage et, par conséquent, fonctionne à partir d'ensembles de données textuelles. Du point de vue du marché des Crypto , cette fonctionnalité est intéressante, mais certainement pas si intéressante. Ce qui mérite notre attention, ce sont les techniques qui sous-tendent GPT3.

La magie derrière GPT-3

GPT-3 repose sur une nouvelle architecture d'apprentissage profond appelée « transformateurs ». Le concept de transformateurs a été initialement décrit dans l'article « L'attention est tout ce dont vous avez besoin," publié en 2017 par des membres de l'équipe Google Brain.

La principale innovation de l'architecture du transformateur réside dans le concept d'« attention » (d'où le titre de l'article). L'attention est généralement utilisée dans un type de problème appelé Seq2Seq, où un modèle traite une séquence d'éléments (mots, lettres, chiffres) et génère une séquence différente. Ce type de problème est extrêmement courant dans les scénarios d'intelligence linguistique tels que la génération de texte, la traduction automatique, les questions-réponses, etc.

Chaque scénario Seq2Seq doit être associé à des architectures encodeur-décodeur. Les encodeurs capturent le contexte de la séquence d'entrée et le transmettent au décodeur, qui produit la séquence de sortie. Les mécanismes d'attention remédient aux limites des architectures de réseaux neuronaux traditionnels en identifiant les aspects clés de l'entrée auxquels il convient de prêter attention.

Les architectures d’apprentissage profond traditionnelles nécessitent un retour d’information constant entre les encodeurs et les décodeurs, ce qui les rend très inefficaces.

Imaginez un scénario de traduction automatique de l'espagnol vers l'anglais. Généralement, le décodeur traduit le texte espagnol en une représentation intermédiaire appelée « langue imaginaire » qui lui sera utilisée pour le traduire en anglais. Les architectures d'apprentissage profond plus traditionnelles nécessitent un retour d'information constant entre les encodeurs et les décodeurs, ce qui les rend très inefficaces.

Conceptuellement, les mécanismes d'attention analysent une séquence d'entrée et déterminent à chaque étape quelles autres parties de la séquence sont importantes. Par exemple, dans un scénario de traduction automatique, le mécanisme d'attention mettrait en évidence les mots auxquels le décodeur « devrait prêter attention » pour effectuer la traduction.

L'architecture du transformateur qui alimente des modèles comme le GPT-3 est une architecture codeur-décodeur traditionnelle qui intègre des blocs d'attention pour améliorer l'efficacité. Le rôle de ce bloc est d'analyser l'ensemble des entrées et sorties de courant et d'en déduire les dépendances qui contribueront à optimiser la production du résultat final.

L'architecture Transformer a produit des modèles capables d'être entraînés sur des ensembles de données extrêmement volumineux et parallélisés efficacement. Sans surprise, après la publication de l'article original de Google, une course à la création de modèles ultra-larges capables de maîtriser différentes tâches linguistiques a été lancée.BERT de Google,RoBERTa de Facebook,Turing-NLG de Microsoft et OpenAI GPT-3sont des exemples plus récents de ces modèles.

GPT-2 a étonné le monde en fonctionnant avec 1,5 milliard de paramètres. Ce record a été pulvérisé par Turing-NLG de Microsoft, qui a utilisé 17 milliards de paramètres, seulement pour GPT-3 en utilisant un ridicule 175 milliards de paramètres. Tout cela s'est produit en un an. C'est clair et simple : quand il s'agit de transformateurs, plus c'est gros, mieux c'est.

Voir aussi : Ben Goertzel -L'IA pour tous : des systèmes ultra-intelligents qui récompensent les créateurs de données

La première génération d'architectures de transformateurs s'est concentrée sur les tâches linguistiques. Cependant, des entreprises commeFacebook et OpenAIont publié des recherches récentes adaptant les modèles de transformateurs à la classification d'images. On pourrait croire qu'il s'agit simplement d'une tentative de générer de fausses images. Mais l'impact va bien au-delà.

La génération de fausses images est essentielle pour optimiser l'apprentissage des modèles de classification d'images en l'absence de grands ensembles de données étiquetées.tentatives d'adaptation des transformateurs aux ensembles de données de séries chronologiques financières, avec l’espoir qu’ils puissent faire progresser les stratégies de trading quantitatives.

Les transformateurs et les Crypto actifs

Maintenant que nous avons un peu de contexte concernant les Transformers et GPT-3, nous pouvons revenir à la question initiale : GPT-3 est-il vraiment effrayant pour les Crypto actifs ?

Certes, la perspective de modèles capables de générer de fausses informations influençant les Marchés des Crypto n'est pas à prendre à la légère. Mais je pense que, sous sa forme actuelle, GPT-3 ne représente pas une menace pour le secteur des Crypto . Ce qui est plus intéressant, c'est l'impact que les architectures de transformation peuvent avoir sur la prochaine génération de solutions de Crypto intelligence. Voici quelques scénarios concrets à envisager :

Stratégies de trading. De toute évidence, si les transformateurs s'avèrent applicables aux ensembles de données financières, ils pourraient avoir un impact majeur sur les stratégies Quant pour les Crypto . Les réseaux neuronaux profonds ouvrent de nouvelles perspectives au trading quantitatif. À partir de modèles d'apprentissage automatique basiques comme la régression linéaire ou les arbres de décision, les fonds Quant s'intéressent désormais à des stratégies sophistiquées d'apprentissage profond.

Étant nativement numériques, les Crypto constituent la classe d'actifs idéale pour les stratégies Quant . Des techniques telles que les réseaux de neurones récurrents (RNN) et les réseaux de neurones convolutifs (CNN) ont gagné en popularité dans le domaine Quant et semblent bien fonctionner en Crypto. Tout comme en analyse du langage, les transformateurs pourraient avoir un avantage sur les CNN et les RNN, notamment pour concentrer l'attention sur plusieurs segments d'un ensemble de données (par exemple, lors de l'enquête de mars 2020). Bitcoin(crash) et fonctionnent également avec des volumes d'enregistrements extrêmement importants (par exemple, des transactions blockchain).

Plus intéressant encore est l’impact que les architectures de transformateurs peuvent avoir sur la prochaine génération de solutions de Crypto intelligence.

Analyse de la blockchain.Les transformateurs peuvent être adaptés pour détecter des schémas dans les blockchains avec des méthodes de calcul plus efficaces que les méthodes actuelles. Leurs atouts résident en partie dans leur capacité à « focaliser l'attention » sur des parties spécifiques d'un ensemble de données d'entrée et à en déduire des résultats potentiels. Imaginez un scénario où nous analysons des transactions de minage de Bitcoin ou des flux vers des plateformes d'échange et tentons d'extrapoler des schémas dans l'activité du carnet d'ordres. Les transformateurs semblent particulièrement bien équipés pour s'attaquer à cette tâche.

Transformateurs décentralisés.Des efforts sont en cours pour adapter les modèles de transformateurs aux architectures d'IA décentralisées commeSingularityNETCe type d'utilisation pourrait étendre l'utilisation des transformateurs à des scénarios encore T . Jusqu'à présent, les modèles de transformateurs tels que GPT-3 étaient l'apanage des grands laboratoires d'IA d'entreprise, disposant des données et des ressources nécessaires pour construire et exploiter des réseaux neuronaux aussi massifs. L'IA décentralisée offre une alternative : l'entraînement, l'exécution et le suivi des transformateurs peuvent s'effectuer au sein de réseaux décentralisés fonctionnant selon des mécanismes incitatifs.

Tout comme d’autres architectures de réseaux neuronaux ont pu fonctionner dans des infrastructures décentralisées, il n’est pas fou de penser que nous verrons bientôt des modèles comme GPT-3 fonctionner dans des plateformes d’IA décentralisées comme SingularityNET ou Ocean Protocol.

GPT-3 et l'architecture Transformer représentent une avancée majeure dans l'histoire de l'apprentissage profond. Dans les prochaines années, nous verrons probablement les Transformers influencer tous les domaines majeurs de l'apprentissage profond, et cette influence devrait s'étendre aux Marchés financiers. La Crypto devrait bénéficier de ces avancées.

Certes, GPT-3 est impressionnant, mais il n'y a aucune raison d'être terrifié. Bien au contraire, nous devons nous efforcer d'adapter ces avancées majeures de l'IA et de faire des Crypto la classe d'actifs la plus intelligente de l'histoire.