A IA descentralizada está recuperando destaque nos últimos meses, à medida que mais pessoas começam a explorar a intersecção da Web3 e da IA generativa. Embora a maioria das pessoas concorde que a descentralização pode ter benefícios positivos para a IA, os caminhos técnicos específicos encontram grandes obstáculos.

Por exemplo, embora todos pensemos que redes de computação descentralizadas (DePIN) podem ajudar a contrabalançar os jogos de acumulação de GPU dominados por grandes plataformas de tecnologia, a realidade é que os requisitos de pré-treinamento e ajuste fino de grandes modelos de base exigem topologias de GPU concentradas com enormes barramentos de comunicação.

Da mesma forma, redes de dados descentralizadas parecem uma ideia clara para mitigar a crescente concentração de dados em grandes empresas. Mas, na prática, as tentativas de resolver esse problema têm tido uma tração muito medíocre.

Ao pensar em descentralizar a IA, é importante perceber que a IA tende a evoluir cada vez mais em direção a arquiteturas centralizadas, o que torna qualquer esforço de descentralização incrivelmente desafiador. Para que a IA generativa descentralizada supere esses desafios naturais, ela precisa depender ou influenciar quatro tendências principais:

• Para que a IA descentralizada se torne viável, a IA generativa de código aberto precisa se tornar mais comum
• A IA descentralizada é um jogo de inferência e nada mais
• As infraestruturas de computação e dados do Web3 precisam ser dimensionadas para atender às demandas dos modelos de base
• Os modelos de fundação precisam ser adaptados para rodar em infraestruturas descentralizadas. A maioria dos caminhos para a IA descentralizada depende de sabores dessas quatro ideias.
  

IA como força de centralização

Na história da Tecnologia, há tendências que evoluem fundamentalmente em direção a Mercados centralizados, enquanto outras são Mercados mais abertos e equilibrados. O celular é o exemplo canônico de uma Tecnologia que evoluiu em direção a um mercado centralizado com dois participantes principais.

Isso se deve principalmente aos requisitos complexos em termos de hardware, software, pesquisa, cadeia de suprimentos e distribuição, que apenas algumas empresas conseguem dominar. Outras tendências, como bancos de dados, começaram como forças de centralização com empresas como Oracle, IBM e Microsoft, e evoluíram para Mercados mais competitivos com muitos participantes de código aberto.

A IA tem um dos DNAs mais centralizados de qualquer tecnologia da história. Isso se deve obviamente às dependências em áreas como computação ou dados, que também são fundamentalmente centralizadas. Dessa perspectiva, é natural esperar que o mercado de IA seja dominado por um punhado de empresas.

Qualquer mercado centralizado pode usar uma força de contrapeso. Nesse sentido, é tentador pensar que blockchains podem ser esse elemento. Embora essa conclusão seja direcionalmente correta, para se materializar, ela exigirá o impulso de forças externas de mercado, bem como a adoção generalizada de IA generativa de código aberto e a evolução da infraestrutura e modelos de fundação Web3.

A IA generativa de código aberto precisa se tornar popular

Não há IA generativa descentralizada sem IA generativa de código aberto. A onda de inovação em IA generativa de código aberto é certamente de tirar o fôlego, mas apenas um punhado de empresas, como HuggingFace, Meta, Mistral ou Stability, são alternativas viáveis para OpenAI, Anthropic ou Google.

A IA descentralizada se concentrará em fluxos de trabalho de inferência com modelos de base de código aberto

Aplicações empresariais com fortes restrições de segurança e Política de Privacidade , bem como startups de IA em setores regulamentados, parecem ser fortes vetores de crescimento para IA generativa de código aberto. Nesses cenários, a infraestrutura de IA Web3 pode se tornar uma alternativa viável. Se assumirmos que a IA generativa de código aberto ganhará algum nível de adoção convencional, o próximo desafio é entender quais casos de uso dentro do ciclo de vida das soluções de IA generativa são bem adequados para infraestruturas descentralizadas.

A IA descentralizada é um jogo de inferência

Em termos simplistas, o ciclo de vida dos modelos de IA generativa pode ser dividido em três fases principais: pré-treinamento, ajuste fino e inferência.

Os dois primeiros têm a ver com fazer com que os modelos generalizem o conhecimento com base em dados, enquanto a inferência está relacionada às previsões geradas pelos modelos. O tamanho extremamente grande dos modelos de fundação e seus complexos requisitos de computação tornam as infraestruturas descentralizadas completamente impraticáveis para cenários de pré-treinamento e ajuste fino.

Esses fluxos de trabalho exigem centenas ou milhares de GPUs conectadas por barramentos de comunicação de alto desempenho que podem ingerir dados e recalcular pesos em um modelo por semanas ou meses. Sem mencionar que os dados necessários para pré-treinamento e ajuste fino geralmente são armazenados em data centers na nuvem, e resulta em ser completamente proibitivo em termos de custo movê-los para uma infraestrutura descentralizada.

A inferência é um cenário muito mais prático para IA generativa descentralizada e, sem dúvida, o ONE que poderia funcionar no estado atual das tecnologias. De uma perspectiva de mercado, as cargas de trabalho de inferência também respondem por uma porcentagem maior das receitas de IA generativa. Agora que sabemos que a IA descentralizada se concentrará em fluxos de trabalho de inferência com modelos de base de código aberto, precisamos descobrir que tipo de infraestrutura Web3 pode dar suporte a esses casos de uso.

As infraestruturas Web3 precisam crescer

A geração atual de tempos de execução de blockchain não foi projetada para executar grandes modelos de fundação, mesmo para casos de uso de inferência. Para lidar com esse desafio, novos tempos de execução de blockchain otimizados para cargas de trabalho de computação maiores e mais complexas são definitivamente necessários. A computação de inferência off-chain é um bom meio-termo, mas que T aborda totalmente as preocupações de centralização com IA generativa.

Os modelos de fundação precisam se tornar menores

No ano passado, a Microsoft cunhou o termo "pequenos modelos de linguagem" com base em seu trabalho em um modelo de base chamado Phi e no icônico artigo"Livros didáticos são tudo o que você precisa". O pequeno Phi tinha apenas 3B parâmetros e foi pré-treinado em uma série de livros didáticos de ciência da computação, e foi capaz de superar modelos 70B em tarefas de matemática e ciência da computação.

O trabalho no Phi sinalizou que modelos menores e mais especializados são um dos passos mais importantes para a adoção da IA ​​generativa. Da mesma forma que as infraestruturas Web3 precisam escalar para adotar modelos de base, a tendência SLM pode tornar os modelos mais práticos para rodar na infraestrutura Web3. É improvável que veremos uma infraestrutura Web3 rodando um modelo de trilhão de parâmetros em um futuro NEAR , mas 2B-3B é definitivamente possível.

Caminho difícil, mas possível, para a IA descentralizada

A ideia de IA generativa descentralizada é conceitualmente trivial, mas praticamente muito difícil. A IA evolui naturalmente como uma Tecnologia cada vez mais centralizada, e quaisquer esforços de descentralização são uma batalha difícil. A adoção generalizada de modelos de IA generativa de código aberto é essencial para a viabilidade de infraestruturas de IA descentralizadas. Da mesma forma, o estado atual da IA ​​generativa sugere que a maioria dos casos de uso inicial de IA descentralizada se concentrará na inferência em vez de pré-treinamento ou ajuste fino. Finalmente, para tornar a IA descentralizada prática, as infraestruturas Web3 precisam escalar em várias ordens de magnitude, enquanto os modelos de base precisam se tornar menores e mais adaptáveis ​​a ambientes descentralizados.

Essa combinação de fatores representa o melhor caminho para a IA generativa descentralizada. Esse caminho será extremamente difícil, mas, pelo menos por enquanto, certamente possível.