Valutazione dei rischi sociali ed etici derivanti dall’intelligenza artificiale generativa | Intelligenza-Artificiale

Introdurre un quadro basato sul contesto per valutare in modo completo i rischi sociali ed etici dei sistemi di intelligenza artificiale

I sistemi di intelligenza artificiale generativa vengono già utilizzati per scrivere libri, creare progetti grafici, assistere i medicie stanno diventando sempre più capaci. Garantire che questi sistemi siano sviluppati e implementati in modo responsabile richiede un’attenta valutazione dei potenziali rischi etici e sociali che possono comportare.

Nel nostro nuova cartaproponiamo un quadro a tre livelli per valutare i rischi sociali ed etici dei sistemi di intelligenza artificiale. Questo quadro include valutazioni della capacità del sistema di intelligenza artificiale, dell’interazione umana e degli impatti sistemici.

Mappiamo inoltre lo stato attuale delle valutazioni della sicurezza e individuiamo tre lacune principali: contesto, rischi specifici e multimodalità. Per contribuire a colmare queste lacune, chiediamo di riproporre i metodi di valutazione esistenti per l’intelligenza artificiale generativa e di implementare un approccio globale alla valutazione, come nel nostro caso di studio sulla disinformazione. Questo approccio integra risultati come la probabilità che il sistema di intelligenza artificiale fornisca informazioni fattivamente errate con approfondimenti su come le persone utilizzano quel sistema e in quale contesto. Le valutazioni a più livelli possono trarre conclusioni che vanno oltre la capacità del modello e indicare se il danno – in questo caso la disinformazione – effettivamente si verifica e si diffonde.

Per far sì che qualsiasi tecnologia funzioni come previsto, è necessario risolvere sia le sfide sociali che quelle tecniche. Pertanto, per valutare meglio la sicurezza del sistema di intelligenza artificiale, è necessario tenere conto di questi diversi livelli di contesto. Qui, ci basiamo su ricerche precedenti che identificano il potenziali rischi dei modelli linguistici su larga scalacome fughe di privacy, automazione del lavoro, disinformazione e altro ancora, e introdurre un modo per valutare in modo completo questi rischi in futuro.

Il contesto è fondamentale per valutare i rischi dell’IA

Le capacità dei sistemi di intelligenza artificiale sono un indicatore importante dei tipi di rischi più ampi che possono sorgere. Ad esempio, i sistemi di intelligenza artificiale che hanno maggiori probabilità di produrre risultati sostanzialmente inaccurati o fuorvianti potrebbero essere più inclini a creare rischi di disinformazione, causando problemi come la mancanza di fiducia da parte del pubblico.

Misurare queste capacità è fondamentale per le valutazioni sulla sicurezza dell’IA, ma queste valutazioni da sole non possono garantire che i sistemi di intelligenza artificiale siano sicuri. Il fatto che il danno a valle si manifesti, ad esempio se le persone arrivino a nutrire false credenze basate su risultati di modelli imprecisi, dipende da contesto. Più nello specifico, chi utilizza il sistema di intelligenza artificiale e con quale obiettivo? Il sistema di intelligenza artificiale funziona come previsto? Crea esternalità inaspettate? Tutte queste domande informano una valutazione complessiva della sicurezza di un sistema di intelligenza artificiale.

Estendendosi oltre capacità valutazione, proponiamo una valutazione in grado di valutare due ulteriori punti in cui si manifestano i rischi a valle: l’interazione umana nel punto di utilizzo e l’impatto sistemico poiché un sistema di intelligenza artificiale è incorporato in sistemi più ampi e ampiamente utilizzato. L’integrazione delle valutazioni di un determinato rischio di danno attraverso questi livelli fornisce una valutazione completa della sicurezza di un sistema di intelligenza artificiale.

‍Interazione umana la valutazione centra l’esperienza delle persone che utilizzano un sistema di intelligenza artificiale. In che modo le persone utilizzano il sistema di intelligenza artificiale? Il sistema funziona come previsto nel punto di utilizzo e in che modo le esperienze differiscono tra dati demografici e gruppi di utenti? Possiamo osservare effetti collaterali inattesi derivanti dall’utilizzo di questa tecnologia o dall’esposizione ai suoi risultati?

‍Impatto sistemico la valutazione si concentra sulle strutture più ampie in cui è incorporato un sistema di intelligenza artificiale, come le istituzioni sociali, i mercati del lavoro e l’ambiente naturale. La valutazione a questo livello può far luce sui rischi di danni che diventano visibili solo una volta che un sistema di intelligenza artificiale viene adottato su larga scala.

Le valutazioni della sicurezza sono una responsabilità condivisa

Gli sviluppatori di intelligenza artificiale devono garantire che le loro tecnologie siano sviluppate e rilasciate in modo responsabile. Gli attori pubblici, come i governi, hanno il compito di difendere la sicurezza pubblica. Poiché i sistemi di IA generativa sono sempre più ampiamente utilizzati e diffusi, garantire la loro sicurezza è una responsabilità condivisa tra più attori:‍

• ‍Sviluppatori di intelligenza artificiale sono ben posizionati per interrogarsi sulle capacità dei sistemi che producono.
• ‍Sviluppatori di applicazioni e le autorità pubbliche designate sono nella posizione di valutare la funzionalità di diverse caratteristiche e applicazioni, e le possibili esternalità verso diversi gruppi di utenti.‍
• Stakeholder pubblici più ampi sono in una posizione unica per prevedere e valutare le implicazioni sociali, economiche e ambientali delle nuove tecnologie, come l’intelligenza artificiale generativa.

I tre livelli di valutazione nel quadro da noi proposto sono una questione di grado, piuttosto che essere nettamente divisi. Sebbene nessuno di essi sia interamente responsabilità di un singolo attore, la responsabilità principale dipende da chi è nella posizione migliore per eseguire valutazioni a ciascun livello.

Lacune nelle attuali valutazioni della sicurezza dell’IA multimodale generativa

Data l’importanza di questo contesto aggiuntivo per valutare la sicurezza dei sistemi di intelligenza artificiale, è importante comprendere la disponibilità di tali test. Per comprendere meglio il panorama più ampio, abbiamo compiuto uno sforzo ad ampio raggio per raccogliere le valutazioni applicate ai sistemi di intelligenza artificiale generativa, nel modo più completo possibile.

Mappando lo stato attuale delle valutazioni della sicurezza per l’IA generativa, abbiamo individuato tre principali lacune nella valutazione della sicurezza:

1. ‍Contesto: La maggior parte delle valutazioni sulla sicurezza considerano isolatamente le capacità dei sistemi di intelligenza artificiale generativa. È stato fatto relativamente poco lavoro per valutare i rischi potenziali nel momento dell’interazione umana o dell’impatto sistemico.‍
2. Valutazioni specifiche del rischio: Le valutazioni delle capacità dei sistemi di IA generativa sono limitate nelle aree di rischio che coprono. Per molte aree a rischio esistono poche valutazioni. Laddove esistono, le valutazioni spesso rendono operativi i danni in modo ristretto. Ad esempio, i danni rappresentativi sono generalmente definiti come associazioni stereotipate dell’occupazione con generi diversi, lasciando inosservati altri casi di danni e aree di rischio.‍
3. Multimodalità: La stragrande maggioranza delle valutazioni di sicurezza esistenti dei sistemi di intelligenza artificiale generativa si concentra esclusivamente sull’output testuale: permangono grandi lacune nella valutazione dei rischi di danni nelle modalità immagine, audio o video. Questo divario si sta ampliando con l’introduzione di più modalità in un unico modello, come i sistemi di intelligenza artificiale che possono acquisire immagini come input o produrre output che intrecciano audio, testo e video. Mentre alcune valutazioni basate su testo possono essere applicate ad altre modalità, le nuove modalità introducono nuovi modi in cui i rischi possono manifestarsi. Ad esempio, la descrizione di un animale non è dannosa, ma se la descrizione viene applicata all’immagine di una persona lo è.

Stiamo creando un elenco di collegamenti a pubblicazioni che descrivono in dettaglio le valutazioni della sicurezza dei sistemi di intelligenza artificiale generativa liberamente accessibili tramite questo deposito. Se desideri contribuire, aggiungi valutazioni compilando questa forma.

Mettere in pratica valutazioni più complete

I sistemi di intelligenza artificiale generativa stanno alimentando un’ondata di nuove applicazioni e innovazioni. Per garantire che i potenziali rischi derivanti da questi sistemi siano compresi e mitigati, abbiamo urgentemente bisogno di valutazioni rigorose e complete della sicurezza dei sistemi di intelligenza artificiale che tengano conto del modo in cui questi sistemi possono essere utilizzati e integrati nella società.

Un primo passo pratico è riproporre le valutazioni esistenti e sfruttare gli stessi modelli di grandi dimensioni per la valutazione, sebbene ciò presenti importanti limitazioni. Per una valutazione più completa, dobbiamo anche sviluppare approcci per valutare i sistemi di intelligenza artificiale nel punto di interazione umana e i loro impatti sistemici. Ad esempio, sebbene la diffusione della disinformazione attraverso l’intelligenza artificiale generativa sia un problema recente, mostriamo che esistono molti metodi esistenti per valutare la fiducia e la credibilità del pubblico che potrebbero essere riproposti.

Garantire la sicurezza dei sistemi di IA generativa ampiamente utilizzati è una responsabilità e una priorità condivisa. Gli sviluppatori di intelligenza artificiale, gli attori pubblici e altre parti devono collaborare e costruire collettivamente un ecosistema di valutazione fiorente e solido per sistemi di intelligenza artificiale sicuri.