L'intelligenza artificiale dovrebbe essere decentralizzata, ma come?

L'intersezione tra Web3 e intelligenza artificiale (IA), in particolare sotto forma di IA generativa, è diventata ONE degli argomenti di dibattito più caldi all'interno della comunità Cripto . Dopo tutto, l'IA generativa sta rivoluzionando tutte le aree degli Stacks software tradizionali e Web3 non fa eccezione. Dato che la decentralizzazione è la proposta di valore CORE di Web3, molti dei progetti e degli scenari emergenti di IA generativa Web3 proiettano una qualche forma di proposta di valore di IA generativa decentralizzata.

Jesus Rodriguez è il CEO di IntoTheBlock.

In Web3, abbiamo una lunga storia di analisi di ogni dominio attraverso una lente di decentralizzazione, ma la realtà è che non tutti i domini possono trarre vantaggio dalla decentralizzazione e per ogni dominio esiste uno spettro di scenari di decentralizzazione. Analizzando quell'idea da un punto di vista di principi primi, ci si pone due domande chiave:

• L'intelligenza artificiale generativa merita di essere decentralizzata?
• Perché l'intelligenza artificiale decentralizzata T ha funzionato su larga scala prima d'ora e cosa differenzia l'intelligenza artificiale generativa?
• Quali sono le diverse dimensioni della decentralizzazione nell'intelligenza artificiale generativa?

Queste domande sono tutt'altro che banali e ognuna ONE può scatenare dibattiti appassionati. Tuttavia, credo che riflettere su queste domande sia essenziale per sviluppare una tesi completa sulle opportunità e le sfide all'intersezione tra Web3 e AI generativa.

L'intelligenza artificiale merita di essere decentralizzata?

Il caso filosofico per la decentralizzazione dell'IA è semplice. L'IA è conoscenza digitale e la conoscenza potrebbe essere la costruzione numero ONE del mondo digitale che merita di essere decentralizzata. Nel corso della storia del Web3, abbiamo fatto molti tentativi di decentralizzare cose che funzionano estremamente bene in un'architettura centralizzata e in cui la decentralizzazione T ha fornito evidenti benefici. La conoscenza non è ONE dei candidati naturali per la decentralizzazione sia dal punto di vista tecnico che economico.

Il livello di controllo accumulato dai grandi fornitori di IA sta creando un divario enorme con il resto della concorrenza, al punto che sta diventando spaventoso. L'IA non si evolve in modo lineare o addirittura esponenziale; segue una curva multi-esponenziale.

Continua a leggere: Jesus Rodriguez - Come i protocolli DeFi stanno sviluppando capacità più granulari ed estensibili

GPT-4 rappresenta un enorme miglioramento rispetto a GPT 3.5 in molte dimensioni, e questa traiettoria è destinata a continuare. A un certo punto, diventa impraticabile provare a competere con i provider di IA centralizzati. Un modello di rete decentralizzata ben progettato potrebbe abilitare un ecosistema in cui diverse parti collaborano per migliorare la qualità dei modelli, il che consente un accesso democratico alla conoscenza e alla condivisione dei benefici.

La trasparenza è il secondo fattore che può essere preso in considerazione quando si valutano i meriti della decentralizzazione nell'AI. Le architetture del modello di fondazione coinvolgono milioni di neuroni interconnessi su più livelli, rendendo poco pratico capirlo utilizzando le pratiche di monitoraggio tradizionali. Nessuno capisce veramente cosa succede all'interno di GPT-4 e OpenAI non ha incentivi per essere più trasparente in quell'area. Le reti AI decentralizzate potrebbero abilitare benchmark di test aperti e guardrail che forniscono visibilità sul funzionamento dei modelli di fondazione senza richiedere la fiducia in un fornitore specifico.

Perché l'intelligenza artificiale decentralizzata T ha funzionato finora?

Se il caso dell'IA decentralizzata è così chiaro, allora perché T abbiamo visto alcun tentativo di successo in quest'area? Dopo tutto, l'IA decentralizzata non è un'idea nuova e molti dei suoi principi risalgono ai primi anni '90. Senza entrare nei tecnicismi, la ragione principale della mancanza di successo degli approcci all'IA decentralizzata è che la proposta di valore era discutibile nella migliore delle ipotesi.

Prima che i grandi modelli di fondazione entrassero in scena, il paradigma architettonico dominante era costituito da diverse forme di apprendimento supervisionato che richiedevano set di dati altamente curati ed etichettati, che risiedevano principalmente all'interno dei confini aziendali. Inoltre, i modelli erano abbastanza piccoli da essere facilmente interpretabili utilizzando strumenti tradizionali. Infine, anche il caso del controllo era molto debole, poiché nessun modello era abbastanza forte da causare alcun livello di preoccupazione.

In un colpo di scena alquanto paradossale, l'importanza dell'intelligenza artificiale generativa su larga scala e dei modelli di base in modo centralizzato ha contribuito a rendere praticabile, per la prima volta nella storia, la tesi dell'intelligenza artificiale decentralizzata.

Ora che abbiamo capito che l'intelligenza artificiale merita di essere decentralizzata e che questa volta la situazione è un po' diversa dai tentativi precedenti, possiamo iniziare a pensare a quali elementi specifici richiedono la decentralizzazione.

Le dimensioni della decentralizzazione nell'intelligenza artificiale

Quando si parla di AI generativa, non esiste un approccio univoco alla decentralizzazione. Invece, la decentralizzazione dovrebbe essere considerata nel contesto delle diverse fasi del ciclo di vita dei modelli di fondazione. Ecco tre fasi principali nella durata operativa dei modelli di fondazione che sono rilevanti per la decentralizzazione:

• Il pre-addestramento è la fase in cui un modello viene addestrato su grandi volumi di set di dati etichettati e non etichettati.
• La messa a punto, solitamente facoltativa, è la fase in cui un modello viene “riaddestrato” su set di dati specifici del dominio per ottimizzarne le prestazioni su diverse attività.
• L'inferenza è la fase in cui un modello produce previsioni basate su input specifici.

In queste tre fasi, ci sono diverse dimensioni che sono buone candidate per la decentralizzazione.

La dimensione della decentralizzazione del calcolo

Il calcolo decentralizzato può essere incredibilmente rilevante durante il pre-addestramento e la messa a punto e potrebbe essere meno rilevante durante l'inferenza. I modelli di base richiedono notoriamente grandi cicli di calcolo GPU, che vengono in genere eseguiti in data center centralizzati. La nozione di una rete di calcolo GPU decentralizzata in cui diverse parti possono fornire calcolo per il pre-addestramento e la messa a punto dei modelli potrebbe aiutare a rimuovere il controllo che i grandi provider cloud hanno sulla creazione di modelli di base.

La dimensione della decentralizzazione dei dati

La decentralizzazione dei dati potrebbe svolgere un ruolo incredibilmente importante durante le fasi di pre-addestramento e di messa a punto. Attualmente, c'è pochissima trasparenza sulla composizione concreta dei set di dati utilizzati per pre-addestrare e mettere a punto i modelli di fondazione. Una rete di dati decentralizzata potrebbe incentivare diverse parti a fornire set di dati con le opportune divulgazioni e a tracciare il loro utilizzo nelle fasi di pre-addestramento e messa a punto dei modelli di fondazione.

La dimensione di decentralizzazione dell'ottimizzazione

Molte fasi durante il ciclo di vita dei modelli di fondazione richiedono convalide, spesso sotto forma di intervento Human . In particolare, tecniche come l'apprendimento per rinforzo con feedback Human (RLHF) consentono la transizione da GPT-3 a ChatGPT facendo in modo che gli esseri umani convalidino gli output del modello per fornire un migliore allineamento con gli interessi Human . Questo livello di convalida è particolarmente rilevante durante le fasi di messa a punto e, attualmente, c'è pochissima trasparenza al riguardo. Una rete decentralizzata di validatori Human e AI che eseguono attività specifiche, i cui risultati sono immediatamente tracciabili, potrebbe rappresentare un miglioramento significativo in quest'area.

Continua a leggere: Jesus Rodriguez - Una nuova blockchain per l'intelligenza artificiale generativa?

La dimensione della decentralizzazione della valutazione

Se ti chiedessi di selezionare il miglior modello linguistico per un compito specifico, dovresti indovinare la risposta. I benchmark dell'IA sono fondamentalmente rotti, c'è pochissima trasparenza attorno a loro e richiedono un bel BIT' di fiducia nelle parti che li hanno creati. Decentralizzare la valutazione dei modelli di base per diversi compiti è un compito incredibilmente importante per aumentare la trasparenza nello spazio. Questa dimensione è particolarmente rilevante durante la fase di inferenza.

La dimensione di decentralizzazione dell'esecuzione del modello

Infine, l'area più ovvia di decentralizzazione. L'uso di modelli di fondazione oggi richiede fiducia nelle infrastrutture controllate da una parte centralizzata. Fornire una rete in cui i carichi di lavoro di inferenza possono essere distribuiti tra diverse parti è una sfida piuttosto interessante che può apportare un'enorme quantità di valore all'adozione di modelli di fondazione.

Il modo giusto per fare IA

I modelli di fondazione hanno spinto l'AI verso l'adozione mainstream e hanno anche accelerato tutte le sfide che derivano dalle capacità in rapido aumento di questi modelli. Tra queste sfide, la causa della decentralizzazione non è mai stata così forte.

La conoscenza digitale merita di essere decentralizzata in tutte le sue dimensioni: dati, elaborazione, convalida, ottimizzazione, esecuzione. Nessuna entità centralizzata merita di avere così tanto potere sul futuro dell'intelligenza. Il caso dell'IA decentralizzata è chiaro, ma le sfide tecniche sono enormi. La decentralizzazione dell'IA richiederà più di ONE svolta tecnica, ma l'obiettivo è certamente raggiungibile. Nell'era dei modelli di base, l'IA decentralizzata è il modo giusto per approcciarsi all'IA.