Uno sguardo più attento all’impronta di carbonio dei modelli linguistici e delle soluzioni sostenibili.
L’associazione francese Dati per sempre rilasciato un carta bianca esplorare le questioni sociali e ambientali che circondano l’intelligenza artificiale generativa. Mi interessava particolarmente l’impatto ambientale dei modelli linguistici, che è meno trattato degli aspetti etici. Ecco i miei insegnamenti chiave:
- Contesto: leader mondiali impegnati a ridurre le nostre emissioni entro il 2050 ben al di sotto dei 2°C. Ciò implica ridurre le nostre emissioni dal 43% tra il 2020 e il 2030 (per limitare il riscaldamento a 1,5°C, vedere la sezione C.1.1 nel rapporto IPCC). Tuttavia, nello spazio digitale, le emissioni non si stanno riducendo ma stanno aumentando 2 A 7% annuo.
- L’addestramento del GPT-3 ha emesso ben 2200 tonnellate di CO2 equivalente — paragonabile a 1600 voli andata e ritorno da Parigi a New York.
- Con 13 milioni di utenti, l’utilizzo mensile di ChatGPT equivale a 10.000 tonnellate di CO2. Se tutti lo utilizzassero oggi, contribuirebbe allo 0,1% dell’impronta di carbonio annuale degli individui in Francia/Regno Unito e allo 0,5% del nostro obiettivo di impronta nel 2050.
- L’impatto di ChatGPT+, basandosi su GPT-4, potrebbe essere da 10 a 100 volte maggioreaggiungendo fino al 10% alla nostra attuale impronta di carbonio annuale… o al 50% della nostra impronta target.
- Esistono molti modi per ridurre l’impatto dell’utilizzo di tali modelli: usali in modo ragionevole e opta per servizi cloud con prestazioni ambientali comprovate.
Per valutare l’impatto ambientale di qualsiasi cosa, possiamo stimarne l’impronta di carbonio: misura le emissioni totali di gas serra causate direttamente e indirettamente da un individuo, un’organizzazione o un prodotto, espresse in tonnellate equivalenti di anidride carbonica (CO2e).
Per metterlo in prospettiva, l’impronta di carbonio media annua è di circa 8-13 tonnellate per persona UK O DaNce, 21 tonnellate negli Stati Uniti e 6 tonnellate nel mondo. Considererò 10 tonnellate come la nostra impronta attuale.
Alcuni esempi (con fonti):
Per mantenere l’aumento della temperatura globale al di sotto dei 2 gradi, Noi Dovrebbe scopo ridurre la nostra impronta di carbonio globale a 2 tonnellate pro capite entro il 2050.
C’è molto lavoro da fare per ridurre le nostre emissioni dell’80 o del 90%. la domanda in continua crescita di servizi digitali superare i miglioramenti in termini di efficienza non aiuta. Come si inserisce l’intelligenza artificiale generativa in questa equazione e cosa possiamo fare per allineare i nostri progressi digitali con i nostri obiettivi ambientali?
Nel formazione fase, forniamo ai modelli linguistici alcuni dati selezionati in modo che possano imparare da essi e diventare capaci di rispondere alle nostre richieste.
Lo studio ha analizzato due grandi modelli linguistici:
1. Bloom open source
2. GPT-3 proprietario di OpenAI
Risultati chiave:
– Impronta di carbonio di Bloom: inizialmente stimata a 30 tonnellate, è stata rivista a 120 tonnellate dopo un’analisi approfondita.
– Impronta di carbonio del GPT-3: estrapolata in 2.200 tonnellate, equivalenti a 1.600 voli di andata e ritorno da Parigi a New York.
Un punto di vista comune è che va bene che questi modelli abbiano costi di formazione elevati perché vengono ampiamente utilizzati da molti utenti.
Inferenza nel Machine Learning è quando utilizziamo un modello addestrato per fare previsioni sui dati in tempo reale. Stiamo ora esaminando l’impatto dell’esecuzione di ChatGPT.
Partendo dal presupposto che Chatgpt abbia 13 milioni di utenti attivi che effettuano in media 15 richieste, l’impronta di carbonio mensile è di 10.000 tonnellate di CO2.
E l’apprendimento chiave per me è che questo è molto più grande dell’impatto della formazione.
Per un utente, l’aggiunta all’impronta di carbonio annuale è di 12 mesi * 10.000 tonnellate / 13 milioni di utenti = 9 chili di CO2eq all’anno per utente, equivalente allo 0,1% dell’attuale impronta di carbonio media annua, o allo 0,5% del nostro obiettivo di impronta .
Ma cosa succede se quella persona utilizza ChatGPT plus con GPT-4? L’impronta di GPT-4 è da 10 a 100 volte più grande di GPT-3. Questa impronta vale tra 100 chili di CO2e e 1 tonnellata in più, fino al 10% dell’impronta di carbonio di un cittadino francese – e il doppio se fai del tuo meglio per ridurla. Se consideriamo il nostro obiettivo di impronta ecologica nel 2050, questo rappresenta il 50%!
Fa schifo.
E cosa succederebbe se, un giorno, ogni interazione che hai con qualsiasi applicazione nella tua vita facesse richieste a modelli linguistici? Pensiero spaventoso.
La buona notizia è. Utilizzare ampiamente l’API gpt4 è così costoso che non possiamo consentire ai nostri utenti di effettuare 15 richieste al giorno a meno che i nostri utenti non siano pronti a pagare un abbonamento mensile di oltre 100 $, che il mio target di mercato è il prodotto che sto costruendo (un assistente personale per meditazione) non è disposto a pagare. E non sono solo le piccole imprese a non poterselo permettere: anche Google e Microsoft non possono permettersi di sostituire i loro motori di ricerca con un modello delle dimensioni di GPT4, che aumenterebbe di 100 il costo delle loro ricerche.
Le raccomandazioni sono le seguenti:
- Rimani sobrio: Può essere forte la tentazione di sostituire un intero progetto IT con ChatGPT-4, ma invece possiamo mettere in discussione l’utilità del progetto, la reale necessità di utilizzare un modello linguistico e limitarne l’uso a casi specifici che lo richiedono veramente. Ad esempio, usa un modello molto più piccolo di GPT-4 ogni volta che puoi. Pensaci due volte prima di usarlo (in) ChatGPT+.
- Ottimizza la formazione e l’utilizzo: Su questo punto le tecniche sono numerose, in continua evoluzione, e i data scientist dovrebbero già utilizzarle… per ridurre i costi. Consistono principalmente nella riduzione dell’utilizzo delle infrastrutture, che a sua volta riduce il consumo di elettricità e, quindi, le emissioni di carbonio. In sostanza, addestriamo un modello solo se necessario; se facciamo formazione, la pianifichiamo per evitare sprechi di risorse. E utilizziamo il modello più piccolo che soddisfa le esigenze in modo soddisfacente.
- Seleziona il paese principale in cui ospitare il tuo server in base all’impronta di carbonio della sua energia. E qui arriva l’orgoglio francese: l’impronta di carbonio della nostra energia, principalmente nucleare, è 7 volte inferiore a quella degli Stati Uniti. Tuttavia, supponiamo che iniziate tutti a ospitare qui i vostri modelli linguistici: in tal caso, probabilmente importeremo l’energia del carbone dai nostri cari vicini 🔥.
- Seleziona il miglior servizio cloud in base alle sue prestazioni ambientali (questi dati sono talvolta pubblici; altrimenti esistono strumenti per misurarli/stimare come https://mlco2.github.io/impact/) — privilegiare i servizi cloud che utilizzano i propri server più a lungo (tuttavia gli hyper scaler tendono a conservare il proprio hardware per non più di 4 anni) e data center con un elevato livello di condivisione
Che tu sia un individuo o un’azienda, risorse ed esperti sono a disposizione per guidarti lungo un percorso sostenibile.
A livello individuale:
– Se lo desidera valutare la tua impronta di carbonioci sono molti strumenti online. A livello personale, misurare la mia impronta di carbonio mi ha aperto gli occhi, spingendomi a esplorare modi per avere un impatto positivo. se vivi nel Regno Unito, controlla https://footprint.wwf.org.uk/
– A segui un corso veloce di 3 ore sulla scienza fondamentale alla base del cambiamento climatico: https://climatefresk.org/
– A indaga le azioni che puoi intraprendere e stima quanto ridurrebbe la tua improntaun altro workshop di 3 ore: https://en.2tonnes.org/
A livello aziendale:
Molte aziende stanno esplorando questi problemi ed ecco cosa possono fare:
- educare i propri dipendenti (con i laboratori suggeriti sopra),
- eseguire audit e misurare la loro impronta di carbonio,
- impostare strategie per migliorare i propri ESG (Governance ambientale, sociale e aziendale) punteggi.
Ho sentito parlare di questo brillante studio grazie ad alcuni Grande persone L’ho incontrato di recente, da Toovalu E Pietra d’onda. Scopri cosa fanno!
Per favore commenta se hai trovato qualche errore nelle mie stime o vuoi aggiungere i tuoi pensieri e condividere se lo hai trovato interessante.
🙌 Grazie per aver dedicato del tempo a leggere questo articolo, spero che sia stato approfondito! Un grande ringraziamento a Thibaut, Léo, Benoit e Diane per il loro prezioso feedback e le aggiunte a questo articolo 🙏.
E se vuoi rimanere aggiornato sull’intelligenza artificiale generativa e sul machine learning responsabile, seguimi su Linkedin 👋.
Fonte: towardsdatascience.com
