Il mondo digitale non può esistere senza le risorse naturali per gestirlo. Quali sono i costi della tecnologia che utilizziamo per creare e gestire l’intelligenza artificiale?
C'è un concetto fondamentale nell'apprendimento automatico di cui parlo spesso ai non addetti ai lavori per aiutare a chiarire la filosofia alla base di ciò che faccio. Questo concetto è l’idea che il mondo cambia spesso attorno a ogni modello di machine learning Perché del modello, quindi il mondo che il modello sta cercando di emulare e prevedere è sempre nel passato, mai nel presente o nel futuro. Il modello, in un certo senso, prevede il futuro – è così che spesso lo pensiamo – ma in molti altri modi, il modello sta effettivamente tentando di riportarci al passato.
Mi piace parlarne perché la filosofia dell'apprendimento automatico aiuta a darci una prospettiva reale come professionisti dell'apprendimento automatico, nonché come utenti e soggetti dell'apprendimento automatico. I lettori abituali sapranno che dico spesso che “l'apprendimento automatico siamo noi”, nel senso che produciamo i dati, facciamo formazione, consumiamo e applichiamo l'output dei modelli. I modelli cercano di seguire le nostre istruzioni, utilizzando le materie prime che abbiamo fornito loro, e noi abbiamo un controllo immenso, quasi completo, su come ciò accade e quali saranno le conseguenze.
Un altro aspetto di questo concetto che trovo utile è ricordare che i modelli non sono isolati nel mondo digitale, ma di fatto sono fortemente intrecciati con il mondo fisico e analogico. Dopotutto, se il tuo modello non influenza il mondo che ci circonda, ciò fa sorgere la domanda sul perché il tuo modello esiste in primo luogo. Se arriviamo davvero al punto, il mondo digitale è separato dal mondo fisico solo in un senso limitato e artificiale, quello del modo in cui noi come utenti/sviluppatori interagiamo con esso.
Quest'ultimo punto è ciò di cui voglio parlare oggi: in che modo il mondo fisico modella e informa l'apprendimento automatico e in che modo il machine learning e l'intelligenza artificiale a loro volta influenzano il mondo fisico? Nel mio ultimo articolo ho promesso che avrei parlato di come i limiti delle risorse nel mondo fisico si intersecano con l'apprendimento automatico e l'intelligenza artificiale, ed è lì che stiamo andando.
Questo è probabilmente ovvio se ci pensi per un momento. C'è una battuta in giro su come possiamo sconfiggere i signori robot senzienti semplicemente spegnendoli o scollegando i computer. Ma scherzi a parte, questo ha un fondo di verità. Quelli di noi che lavorano nel campo dell’apprendimento automatico e dell’intelligenza artificiale, e dell’informatica in generale, dipendono completamente per l’esistenza del nostro settore dalle risorse naturali, come i metalli estratti, l’elettricità e altre. Questo ha alcuni punti in comune con a pezzo che ho scritto l'anno scorso su come il lavoro umano sia necessario affinché l'apprendimento automatico esistama oggi andremo in una direzione diversa e parleremo di due aree chiave che dovremmo apprezzare maggiormente come vitali per il nostro lavoro: l'estrazione mineraria/manifatturiera e l'energia, principalmente sotto forma di elettricità.
Se vai a cercarlo, c’è abbondanza di ricerca e giornalismo su entrambe queste aree, non solo in relazione diretta all’intelligenza artificiale, ma in relazione ai precedenti boom tecnologici come la criptovaluta, che condivide molto con l’intelligenza artificiale in termini di il suo utilizzo delle risorse. Darò una discussione generale di ciascuna area, con citazioni per ulteriori letture in modo che tu possa esplorare i dettagli e arrivare alla fonte della borsa di studio. È difficile, tuttavia, trovare ricerche che tengano conto del boom dell’intelligenza artificiale degli ultimi 18 mesi, quindi mi aspetto che alcune di queste ricerche sottovalutino l’impatto delle nuove tecnologie nello spazio dell’intelligenza artificiale generativa.
Cosa serve per realizzare un chip GPU? Sappiamo che questi chip sono determinanti nello sviluppo di moderni modelli di apprendimento automatico e Nvidia, il più grande produttore di questi chip oggi, ha cavalcato il boom delle criptovalute e la mania dell'intelligenza artificiale fino a collocarsi tra le aziende di maggior valore esistenti. Il loro prezzo azionario è passato da 130 dollari per azione all’inizio del 2021 a 877,35 dollari per azione nell’aprile 2024 mentre scrivo questa frase, dando loro una capitalizzazione di mercato riportata di oltre 2 trilioni di dollari. Nel terzo trimestre del 2023, hanno venduto oltre 500.000 chip, per oltre 10 miliardi di dollari. Le stime indicano che le vendite totali di H100 nel 2023 saranno pari a 1,5 milioni, e si prevede facilmente che il 2024 supererà quella cifra.
I chip GPU coinvolgono una serie di diversi materie prime speciali che sono piuttosto rare e difficili da acquisire, tra cui tungsteno, palladio, cobalto e tantalio. Altri elementi potrebbero essere più facili da acquisire ma comportano rischi significativi per la salute e la sicurezza, come il mercurio e il piombo. L’estrazione di questi elementi e composti ha impatti ambientali significativi, comprese emissioni e danni ambientali alle aree in cui avviene l’estrazione. Anche le migliori operazioni minerarie modificano gravemente l’ecosistema. A ciò si aggiunge il rischio dei cosiddetti “minerali di conflitto”, ovvero minerali estratti in situazioni di sfruttamento umano, lavoro minorile o schiavitù. (Il merito è dovuto: Nvidia è stata molto esplicita nell'evitare l'uso di tali minerali, richiamando in particolare la Repubblica Democratica del Congo.)
Inoltre, dopo che le materie prime sono state estratte, tutti questi materiali devono essere lavorati con estrema attenzione per produrre chip minuscoli e altamente potenti che eseguono calcoli complessi. I lavoratori devono farsi carico rischi significativi per la salute quando si lavora con metalli pesanti Piace piombo e mercuriocome sappiamo dalla storia industriale degli ultimi 150+ anni. I chip di Nvidia sono prodotti in gran parte negli stabilimenti di Taiwan gestiti da una società chiamata Taiwan Semiconductor Manufacturing Company, o TSMC. Perché Nvidia in realtà non possiede né gestisce fabbriche, Nvidia è in grado di aggirare le critiche sulle condizioni di produzione o sulle emissioni e i dati sono difficili da ottenere. Anche la potenza necessaria per effettuare questa produzione non è nei libri di Nvidia. Per inciso: TSMC ha raggiunto il massimo della propria capacità e sta lavorando per aumentarla. Parallelamente, NVIDIA prevede di iniziare a collaborare con Intel sulla capacità produttiva nel prossimo anno.
Dopo che un chip è stato prodotto, può avere una durata di vita che può essere significativa – 3-5 anni se mantenuto bene – tuttavia, Nvidia produce costantemente chip nuovi, più potenti e più efficienti (2 milioni all'anno sono tanti!) quindi la durata di vita di un chip può essere limitata dall'obsolescenza e dall'usura. Quando un chip non è più utile, entra nella pipeline di quello che viene chiamato “rifiuti elettronici”. In teoria, molti dei metalli rari contenuti in un chip dovrebbero avere un certo valore di riciclaggio, ma come ci si potrebbe aspettare, il riciclaggio dei chip è un compito tecnologico molto specializzato e impegnativo e solo il 20% circa di tutti i rifiuti elettronici viene riciclato, compresi molti meno cose complesse come telefoni e altro hardware. Il processo di riciclaggio richiede inoltre che i lavoratori smantellino le apparecchiature, entrando nuovamente in contatto con i metalli pesanti e altri elementi coinvolti nella produzione.
Se un chip non viene riciclato, invece, lo è probabilmente scaricati in una discarica o inceneriti, rilasciando tali metalli pesanti nell'ambiente attraverso l'acqua, l'aria o entrambi. Ciò accade nei paesi in via di sviluppo e spesso colpisce direttamente le aree in cui risiedono le persone.
Tuttavia, la maggior parte delle ricerche sull’impronta di carbonio dell’apprendimento automatico e sul suo impatto ambientale generale hanno riguardato il consumo energetico. Quindi diamo uno sguardo in quella direzione.
Una volta che disponiamo dell’hardware necessario per svolgere il lavoro, l’elefante nella stanza con l’intelligenza artificiale è sicuramente il consumo di elettricità. La formazione di modelli linguistici di grandi dimensioni consuma quantità straordinarie di elettricità, ma anche il servizio e l’implementazione di LLM e altri modelli avanzati di apprendimento automatico rappresentano una voragine di elettricità.
Nel caso della formazione, un documento di ricerca suggerisce che la formazione GPT-3, con 175 miliardi di parametri, vada in giro 1.300 megawattora (MWh) ovvero 1.300.000 KWh di energia elettrica. Confrontalo con GPT-4, che utilizza 1.76 trilioni parametri e dove si trovava il consumo energetico stimato dell'allenamento 51.772.500 e 62.318.750 KWh di energia elettrica. Per fare un esempio, una casa americana media consuma poco più di 10.000 KWh all’anno. Da un punto di vista conservativo, quindi, l’addestramento del GPT-4 una volta potrebbe alimentare quasi 5.000 case americane per un anno. (Ciò non considera tutta l'energia consumata dalle analisi o dai test preliminari che quasi certamente erano necessari per preparare i dati e prepararsi all'addestramento.)
Dato che il consumo energetico tra l'addestramento GPT-3 e GPT-4 è aumentato di circa 40 volte, dobbiamo preoccuparci del futuro consumo elettrico coinvolto nelle prossime versioni di questi modelli, nonché del consumo per i modelli di addestramento che generano video, immagini o contenuto audio.
Oltre al processo di addestramento, che deve avvenire solo una volta nella vita di un modello, c'è il consumo di elettricità in rapida crescita delle attività di inferenza, vale a dire il costo di ogni volta che si pone una domanda a Chat-GPT o si tenta di generare un'immagine divertente con un Strumento di intelligenza artificiale. Questo l'energia viene assorbita dai data center dove vengono eseguiti i modelli in modo che possano fornire risultati in tutto il mondo. L'Agenzia internazionale per l'energia prevedeva che i soli data center avrebbero consumato 1.000 terawatt nel 2026più o meno il consumo energetico del Giappone.
I principali attori del settore dell’intelligenza artificiale sono chiaramente consapevoli del fatto che questo tipo di la crescita del consumo di elettricità è insostenibile. Si stima che i data center consumino tra lo 0,5% e il 2% dell’intero consumo globale di elettricità, e potenzialmente potrebbe esserlo Il 25% del consumo di elettricità negli Stati Uniti entro il 2030.
Le infrastrutture elettriche negli Stati Uniti non sono in buone condizioni: stiamo cercando di aggiungere più energia rinnovabile alla nostra rete, ovviamente, ma non siamo meritatamente conosciuti come un paese che gestisce bene le nostre infrastrutture pubbliche. Residenti in Texas in particolare conoscere la fragilità dei nostri sistemi elettrici, ma attraverso il Il cambiamento climatico negli Stati Uniti, sotto forma di condizioni meteorologiche estreme, provoca interruzioni di corrente ad un ritmo crescente.
È ancora da vedere se gli investimenti nelle infrastrutture elettriche avranno la possibilità di soddisfare la domanda alle stelle generata dagli strumenti di intelligenza artificiale, e poiché per arrivarci è necessaria un’azione del governo, è ragionevole essere pessimisti.
Nel frattempo, anche se riuscissimo a produrre elettricità alle tariffe necessarie, finché le fonti di elettricità rinnovabili e prive di emissioni non saranno scalabili, stiamo aumentando in modo significativo la produzione di emissioni di carbonio del globo utilizzando questi strumenti di intelligenza artificiale. Con una stima approssimativa di 0,86 libbre di emissioni di carbonio per KWh di potenzal'addestramento GPT-4 ha emesso oltre 20.000 tonnellate di carbonio nell'atmosfera. (Al contrario, l’americano medio emette 13 tonnellate all’anno.)
Come ci si potrebbe aspettare, non sono qui a sostenere che dovremmo smettere di usare il machine learning perché il lavoro consuma risorse naturali. Penso che i lavoratori che rendono possibile la nostra vita meritino significative precauzioni per la sicurezza sul posto di lavoro e compensi commisurati al rischio, e penso che le fonti rinnovabili di elettricità dovrebbero essere una priorità enorme mentre affrontiamo il cambiamento climatico prevenibile e causato dall’uomo.
Ma parlo di tutto questo perché sapere quanto il nostro lavoro dipende dal mondo fisico, dalle risorse naturali e dalla terra dovrebbe renderci più umili e farci apprezzare ciò che abbiamo. Quando conduci formazione o inferenza o utilizzi Chat-GPT o Dall-E, non sei il punto finale del processo. Le tue azioni hanno conseguenze a valle ed è importante riconoscerlo e prendere decisioni informate di conseguenza. Potresti noleggiare secondi o ore di utilizzo della GPU di qualcun altro, ma ciò consuma comunque energia e provoca l'usura della GPU che alla fine dovrà essere smaltita. Parte dell'essere cittadini etici del mondo è pensare alle proprie scelte e considerare il proprio effetto sulle altre persone.
Inoltre, se sei interessato a saperne di più sull'impronta di carbonio dei tuoi sforzi di modellazione, c'è uno strumento per questo: https://www.green-algorithms.org/
Fonte: towardsdatascience.com
