Tra un rapido aumento delle esigenze di risorse AI, campagne AI2 per rendere più facile essere green

Lo sviluppo di modelli sempre più potenti per l'intelligenza artificiale sta rivoluzionando il mondo, ma non è economico.
In un documento di posizione recentemente distribuito, i ricercatori dell'Allen Institute for Artificial Intelligence di Seattle sostengono che si dovrebbe dare più peso all'efficienza energetica nel valutare la ricerca.
I ricercatori di AI2 chiedono ai loro colleghi di segnalare il "prezzo" associato allo sviluppo, alla formazione e alla gestione dei loro modelli, insieme ad altre metriche come velocità e accuratezza.
Le classifiche di ricerca, tra cui AI2, valutano regolarmente il software AI in termini di precisione nel tempo, ma non affrontano ciò che è stato necessario per ottenere quei risultati.
Naturalmente, la ricerca all'avanguardia può essere costosa in tutti i tipi di campi, che vanno dalla fisica delle particelle effettuata a collettori da svariati miliardi di dollari all'analisi genetica che richiede centinaia di sequenziatori del DNA.
I costi finanziari o l'utilizzo di energia non sono di solito menzionati negli studi risultanti.
Ma il CEO di AI2, Oren Etzioni, afferma che i tempi stanno cambiando, soprattutto quando l'impronta di carbonio degli esperimenti scientifici che divorano energia diventa più preoccupante.
"È un argomento in corso per molte comunità scientifiche, la questione dei costi di rendicontazione", ha dichiarato a GeekWire Etzioni, uno degli autori del position paper.
"Penso che ciò che fa la differenza qui sia la straordinaria escalation che abbiamo visto" nelle risorse dedicate allo sviluppo del modello di intelligenza artificiale.
Uno studio di OpenAI stima che le risorse computazionali necessarie per la ricerca di alto livello nella deep learning siano aumentate di 300.000 volte tra il 2012 e il 2018, a causa del rapido sviluppo di modelli sempre più complessi.
"Questo è molto più veloce della Legge di Moore, raddoppiando ogni tre o quattro mesi", ha detto Etzioni.
Quando si tratta di fabbisogno energetico, Etzioni non vuole vedere la ricerca dell'IA andare sulla strada del mining di bitcoin, che sta già mettendo a dura prova le società elettriche.
Ma non è solo l'ambiente di cui è preoccupato.
Il costo finanziario della gestione di un progetto come il programma di apprendimento del gioco AlphaGo di Google DeepMind può ammontare a più di $ 1.000 l'ora.
"Esiste un'importante questione di inclusività, in cui [non solo] persone delle economie emergenti, ma anche studenti, accademici e start-up possono essere sempre più esclusi dall'avanguardia se è necessario, diciamo, un miliardo di dollari …
per fare ricerche di intelligenza artificiale all'avanguardia ", ha detto.
I ricercatori di AI2 sottolineano che non stanno chiedendo la fine dell'approccio ad alta risorsa e ad alto costo, che chiamano "AI rosso".
Piuttosto, vogliono accendere i riflettori su "AI verdi" – un approccio che mira fare un'IA all'avanguardia con maggiore efficienza.
"Se rendi l'IA più verde, non è solo più economico, ma apre la strada a tecniche più efficienti per spingere ulteriormente lo stato dell'arte", ha affermato Etzioni.
Tali tecniche potrebbero avvicinarsi all'abbinamento del funzionamento del cervello umano, che supera di gran lunga qualsiasi modello di intelligenza artificiale in termini di prestazioni generali ed efficienza.
"L'impronta ecologica del nostro pensiero è un'insalata e forse un taco occasionale", ha scherzato Etzioni.
Lui e i suoi colleghi propongono di includere il numero totale di operazioni in virgola mobile necessarie per raggiungere un determinato risultato come parte ordinaria dei documenti di ricerca.
Sostengono che le operazioni in virgola mobile, o FPO, fungano da riscontro della potenza computazionale e sarebbero una metrica più sensata di, diciamo, le emissioni di carbonio, il consumo di elettricità o il tempo reale trascorso.
I ricercatori hanno anche potuto monitorare in che modo l'accuratezza aumenta in funzione del budget.
"La segnalazione di questa curva consentirà agli utenti di prendere decisioni più sagge sulla scelta dei modelli e di evidenziare la stabilità dei diversi approcci", scrivono.
Accolgono anche la tendenza verso il rilascio pubblico di modelli pre-addestrati, come i modelli BERT e XLNet di Google, come un "successo verde".
"Vorremmo incoraggiare le organizzazioni a continuare a rilasciare i loro modelli al fine di risparmiare gli altri costi di riqualificarli ”, scrivono i ricercatori.
Etzioni ha dichiarato di aver ottenuto un feedback positivo dal rilascio del position paper di questa settimana e spera che modelli di ricerca più efficienti daranno vita anche ad applicazioni AI meno costose ed efficienti.
Uno degli spin-out di AI2, XNOR.ai, sta già facendo dell'efficienza energetica una priorità per i suoi prodotti.
"L'implementazione è estremamente rilevante", ha affermato Etzioni.
"Sento che c'è un sano incentivo economico lì".
Gli autori di "Green AI" includono Etzioni, Roy Schwartz, Jesse Dodge e Noah Smith.