Allen Institute for AI crea un modello di linguaggio AI generativo aperto "dagli scienziati, per gli scienziati"

Non puoi leggere le notizie di oggi senza vedere una storia sugli ultimi progressi nell'intelligenza artificiale, in particolare nell'area nascente dell'IA generativa e dei modelli di linguaggio di grandi dimensioni (LLM).
Il rapido ritmo di sviluppo sta trasformando il campo in qualcosa del selvaggio West mentre tutti, dalle startup ai giganti aziendali, corrono per arrivare sul mercato il più rapidamente possibile in modo da non essere lasciati indietro.
Sfortunatamente, ciò solleva diversi problemi e preoccupazioni, in gran parte perché i modelli linguistici con cui lavorano queste aziende sono tutt'altro che trasparenti o pienamente compresi.
L'Allen Institute for AI (AI2) di Seattle sta lavorando per cambiarlo.
Giovedì AI2 ha annunciato che sta creando un modello di linguaggio generativo aperto chiamato AI2 OLMo (Open Language Model).
Sarà paragonabile in scala ad altri LLM all'avanguardia a 70 miliardi di parametri e dovrebbe debuttare all'inizio del 2024.
Questa iniziativa è unica in quanto svilupperà un modello di linguaggio aperto "dagli scienziati, per gli scienziati".
"Con in mente la comunità scientifica, OLMo sarà costruito appositamente per far progredire la scienza dei modelli linguistici", ha affermato Hannaneh Hajishirzi, capo progetto OLMo e direttore senior della ricerca PNL presso AI2.
"OLMo sarà il primo modello linguistico specificamente progettato per la comprensione e la scoperta scientifica".
Questa iniziativa andrà a beneficio della comunità di ricerca, così come del pubblico, fornendo accesso e istruzione a tutti gli aspetti del modello, compreso il suo sviluppo, implementazione e utilizzo.
Inoltre, il modello aperto è in fase di sviluppo in collaborazione con AMD e CSC, utilizzando LUMI, uno dei supercomputer più ecologici al mondo.
"OLMo sarà qualcosa di speciale", ha affermato Noah Smith, anche lui a capo del progetto OLMo e Senior Director of NLP Research presso AI2.
Smith ha aggiunto: "In un panorama in cui molti si stanno affrettando a incassare il potenziale di business dei modelli di linguaggio generativo, AI2 ha la capacità unica di riunire la nostra esperienza di livello mondiale con l'hardware di livello mondiale di AMD e LUMI per produrre qualcosa progettato in modo esplicito affinché scienziati e ricercatori possano interagire, imparare e utilizzare per creare la prossima generazione di tecnologie di intelligenza artificiale sicure ed efficaci.
L'obiettivo di AI2 è costruire in modo collaborativo il miglior modello di linguaggio aperto al mondo.
La filosofia alla base di OLMo è che, dando accesso a milioni di persone che desiderano comprendere meglio e interagire con i modelli linguistici, possono creare un ambiente che porti a progressi più rapidi e sicuri per tutti.
Questa iniziativa consentirà a molte persone nella comunità di ricerca sull'IA di lavorare direttamente sugli LLM per la prima volta.
Rendendo accessibili tutti gli elementi del progetto OLMo – non solo i dati, ma anche il codice utilizzato per crearlo – consentirà alla comunità di ricerca di prendere direttamente ciò che crea e lavorare per migliorarlo.
Condividendo e discutendo apertamente le considerazioni etiche ed educative relative alla creazione del modello, AI2 spera di aiutare a guidare la comprensione e lo sviluppo responsabile della tecnologia di modellazione del linguaggio.
Questi modelli di intelligenza artificiale generativa sono già utilizzati per qualsiasi cosa, dalla creazione di applicazioni aziendali che compongono e-mail, piani strategici e codice software, alla fornitura delle basi per una nuova generazione di motori di ricerca.
Possono già distillare e spiegare idee complesse, risolvere problemi di matematica, creare musica e scrivere saggi su qualsiasi argomento.
Ma mentre esiste la capacità di eseguire tutti questi compiti, permangono numerosi problemi funzionali ed etici, non ultimo dei quali è l'affidabilità e l'accuratezza di ciò che viene generato.
Un modello veramente aperto come OLMo potrebbe aiutare a risolvere tali problemi.
Altre partnership organizzative per l'iniziativa includono la collaborazione con Surge AI e MosaicML per i dati e il codice di addestramento.
AI2 ha anche creato un comitato di revisione etica composto da consulenti interni ed esterni per fornire feedback durante tutto il processo.
Gli LLM in genere traggono i propri dati da vaste aree di materiale disponibile pubblicamente, solitamente eseguendo la scansione del Web.
Ciò ha sollevato molte preoccupazioni in merito ai diritti di proprietà intellettuale.
Il team OLMo sta lavorando a stretto contatto con l'ufficio legale di AI2 e con esperti legali esterni per valutare e affrontare meglio questi problemi.
CORRELATO: L'Allen Institute for AI raccoglie un fondo di 30 milioni di dollari per l'incubatore per promuovere più startup durante la corsa all'oro dell'IA Una maggiore trasparenza sul consumo di energia e sulle emissioni dei modelli di intelligenza artificiale sarà di crescente importanza man mano che questi strumenti diventeranno sempre più popolari e utilizzati in tutte le imprese e nella società.
Ad esempio, ChatGPT di OpenAI, che è stato lanciato sei mesi fa, ha attualmente 1,6 miliardi di utenti, ma il pubblico può solo indovinare il suo vero consumo energetico.
"L'IA generativa ha il potenziale per essere la tecnologia rivoluzionaria di questo decennio, analogamente a come i motori di ricerca e gli smartphone sono penetrati nella nostra società nei decenni precedenti", ha affermato Pekka Manninen, direttore della scienza e della tecnologia di CSC.
"LLM aperti, trasparenti e spiegabili sono vitali per la democratizzazione di questa tecnologia".
Il CSC, il Centro finlandese per il calcolo e il networking ad alte prestazioni, sta fornendo a AI2 OLMo l'accesso alle risorse di supercalcolo LUMI, un fattore cruciale per aiutare a comprendere meglio il ruolo dell'infrastruttura nella formazione e nella gestione degli LLM.
Situato nel data center di CSC a Kajaani, in Finlandia, LUMI è un supercomputer pre-esascala paneuropeo.
Manninen ha continuato: “Siamo orgogliosi di far parte di questa collaborazione per il suo grande impatto sulla società e il livello di ambizione tecnologica, e felici di potervi contribuire con il supercomputer LUMI e la nostra esperienza.
I supercomputer come LUMI possono accelerare la formazione LLM di un ordine di grandezza e molte altre caratteristiche dell'infrastruttura LUMI la posizionano come una piattaforma leader per l'elaborazione del linguaggio naturale.
LUMI (Large Unified Modern Infrastructure) è stato classificato come il supercomputer numero tre al mondo nella classifica TOP500 del novembre 2022 con una performance misurata di 301,9 PFLOPS.
Si colloca anche vicino alla parte superiore del Green500.
Il rapporto GFlop/Watt per LUMI è 51,38, il che lo rende uno dei supercomputer più ecologici al mondo.
Lumi è la parola finlandese per "neve".