I ricercatori vogliono mettere a dieta i divoratori di energia come ChatGPT con chip di computer più efficienti

ChatGPT e altre tecnologie di intelligenza artificiale generativa stanno entusiasmando, e talvolta allarmando, gli utenti con le loro capacità simili a quelle umane di portare avanti conversazioni ed eseguire attività.
Ma stanno anche suscitando preoccupazione sulla quantità di energia necessaria per creare e far funzionare i sistemi.
Un ricercatore dell’Università di Washington ha stimato la potenza necessaria per realizzare l’app ChatGPT rilasciata pubblicamente a novembre, determinando che avrebbe consumato circa 10 gigawattora (GWh) di energia per addestrare il grande modello linguistico dietro di essa.
Questo è alla pari con il consumo energetico annuale di circa 1.000 case negli Stati Uniti.
Il numero è approssimativo e altri ricercatori hanno calcolato un consumo energetico molto inferiore per la creazione di GPT-3 e modelli di dimensioni simili.
Ma GPT-3 è stato solo l’inizio.
GPT-4, che è stato addestrato su molti più dati, e altri nuovi modelli consumano ancora più potenza.
"Se questo sarà l'inizio di una rivoluzione e tutti vorranno sviluppare il proprio modello, e tutti inizieranno a usarli – ci sono un milione di applicazioni diverse – allora questo numero diventerà sempre più grande fino al livello che non sarà sostenibile”, ha detto Sajjad Moazeni, assistente professore di ingegneria elettrica e informatica alla UW.
Moazeni e altri ingegneri vogliono affrontare questa sfida.
Stanno lavorando a soluzioni per rendere la tecnologia che crea e gestisce questi modelli di intelligenza artificiale generativa più efficiente dal punto di vista energetico.
Nel seminterrato del Centro Paul G.
Allen per l'informatica e l'ingegneria della UW, Moazeni ha un laboratorio dove lui e altri ricercatori stanno manipolando e modificando chip di computer ad altissima tecnologia con transistor inimmaginabilmente piccoli.
Questi chip sono al centro di GPT e di altri modelli linguistici di grandi dimensioni e delle loro applicazioni.
Funzionano come il cervello delle reti di computer che consumano ed elaborano dati.
I chip parlano tra loro e trasmettono informazioni tramite segnali elettrici e ottici, agendo come i neuroni metaforici del sistema.
Moazeni vuole migliorare tale segnalazione incorporando la fotonica che consentirà comunicazioni chip-to-chip attraverso segnali ottici inviati tramite fibre ottiche, invece dei segnali elettrici meno efficienti e con prestazioni inferiori attualmente in uso.
I modelli linguistici di grandi dimensioni utilizzano chip speciali ad alto consumo di energia chiamati unità di elaborazione grafica o GPU.
Le GPU e i relativi componenti elettronici sono una parte essenziale dei server dei computer ospitati nei data center.
I data center sono il luogo in cui risiede il “cloud”.
I processori consumano energia per funzionare e produrre calore, richiedendo sistemi di raffreddamento che utilizzano ventole o acqua per evitare il surriscaldamento delle macchine.
Tutto ciò si traduce in un consumo energetico significativo.
Le gigantesche aziende tecnologiche che offrono servizi cloud – come Amazon Web Services, Azure di Microsoft e Google Cloud di Alphabet – possiedono molti degli enormi data center in cui gli strumenti di intelligenza artificiale generativa vengono addestrati e operano.
Tutte le aziende si sono impegnate a ridurre le proprie emissioni di gas serra a zero o meno e stanno ricercando fonti di energia rinnovabile per raggiungere tali obiettivi.
Ma l’aumento dell’intelligenza artificiale generativa continuerà a stimolare la domanda di data center.
È qualcosa che le aziende stanno prendendo in considerazione mentre lavorano verso gli obiettivi di carbonio.
Amazon, ad esempio, prevede di gestire tutte le sue operazioni con le energie rinnovabili entro il 2025.
"Non siamo preoccupati né abbiamo preoccupazioni di raggiungere il nostro obiettivo [energia rinnovabile]", ha affermato Charley Daitch, direttore della strategia per l'energia e l'acqua di AWS, in un recente intervista a GeekWire.
“Ma guardando al lungo termine – come la fine degli anni 2020 o il 2030 – con l’opportunità e il potenziale dell’intelligenza artificiale generativa, è assolutamente fondamentale trovare nuovi modi per introdurre le energie rinnovabili su scala ancora più ampia”, ha affermato Daitch.
Prima che le persone iniziassero a preoccuparsi del consumo energetico dei grandi modelli linguistici, gli allarmi venivano lanciati sul mining di criptovalute e sulle fattorie di Bitcoin.
Per coniare monete di criptovaluta, i minatori si affidano anche a computer farm che consumano energia.
Negli Stati Uniti, secondo una recente analisi del New York Times, le operazioni di mining di criptovalute utilizzano energia sufficiente per alimentare milioni di case.
I modelli linguistici di grandi dimensioni consumano energia non solo per addestrare i sistemi, ma anche quando le persone interrogano i modelli e nella loro manutenzione.
Secondo le stime di Moazeni, il consumo necessario per il solo ChatGPT potrebbe ammontare a 1 GWh di energia al giorno.
Ciò significa trovare modi per far funzionare le reti di computer in modo più intelligente ed efficiente per mantenere attive le conversazioni virtuali.
"Vedo molte opportunità", ha detto Moazeni.
“Abbiamo bisogno di creatività.
Abbiamo bisogno di nuove idee.
Abbiamo bisogno di nuove architetture [per le reti di computer].
Come ricercatore, ne sono molto entusiasta”.