Costruire un approccio responsabile alla raccolta dei dati con il partenariato sull’intelligenza artificiale
In DeepMind, il nostro obiettivo è garantire che tutto ciò che facciamo soddisfi i più elevati standard di sicurezza ed etica, in linea con la nostra Principi di funzionamento. Uno dei punti più importanti da cui inizia è il modo in cui raccogliamo i nostri dati. Negli ultimi 12 mesi abbiamo collaborato con Partenariato sull’intelligenza artificiale (PAI) a considerare attentamente queste sfide e ad aver co-sviluppato migliori pratiche e processi standardizzati per la raccolta responsabile dei dati umani.
Raccolta dati umani
Oltre tre anni fa, abbiamo creato il nostro Comitato etico per la ricerca comportamentale umana (HuBREC), un gruppo di governance modellato sui comitati di revisione istituzionale accademica (IRB), come quelli che si trovano negli ospedali e nelle università, con l’obiettivo di proteggere la dignità, i diritti e benessere dei partecipanti umani coinvolti nei nostri studi. Questo comitato supervisiona la ricerca comportamentale che prevede esperimenti con esseri umani come oggetto di studio, come lo studio del modo in cui gli esseri umani interagiscono con i sistemi di intelligenza artificiale (AI) in un processo decisionale.
Accanto a progetti che coinvolgono la ricerca comportamentale, la comunità dell’intelligenza artificiale è sempre più impegnata in sforzi che coinvolgono l’”arricchimento dei dati” – compiti svolti da esseri umani per addestrare e convalidare modelli di apprendimento automatico, come l’etichettatura dei dati e la valutazione dei modelli. Mentre la ricerca comportamentale si basa spesso su partecipanti volontari che sono oggetto di studio, l’arricchimento dei dati prevede che le persone vengano pagate per completare attività che migliorano i modelli di intelligenza artificiale.
Questi tipi di compiti vengono solitamente svolti su piattaforme di crowdsourcing, spesso sollevando considerazioni etiche relative alla retribuzione, al benessere e all’equità dei lavoratori, che possono mancare della guida o dei sistemi di governance necessari per garantire il rispetto di standard sufficienti. Man mano che i laboratori di ricerca accelerano lo sviluppo di modelli sempre più sofisticati, è probabile che cresca la dipendenza dalle pratiche di arricchimento dei dati e, parallelamente, la necessità di una guida più forte.
Nell’ambito dei nostri Principi operativi, ci impegniamo a sostenere e contribuire alle migliori pratiche nei campi della sicurezza e dell’etica dell’IA, comprese l’equità e la privacy, per evitare risultati non desiderati che creino rischi di danni.
Le migliori pratiche
A seguito del PAI recente Libro bianco sull’approvvigionamento responsabile dei servizi di arricchimento dei dati, abbiamo collaborato per sviluppare le nostre pratiche e processi per l’arricchimento dei dati. Ciò includeva la creazione di cinque passaggi che i professionisti dell’IA possono seguire per migliorare le condizioni di lavoro delle persone coinvolte in attività di arricchimento dei dati (per maggiori dettagli, visitare Linee guida per l’approvvigionamento di dati arricchiti di PAI):
- Selezionare un modello di pagamento appropriato e garantire che tutti i lavoratori siano pagati al di sopra del salario dignitoso locale.
- Progetta ed esegui un progetto pilota prima di lanciare un progetto di arricchimento dei dati.
- Identificare i lavoratori appropriati per l’attività desiderata.
- Fornire istruzioni verificate e/o materiali di formazione che i lavoratori possano seguire.
- Stabilire meccanismi di comunicazione chiari e regolari con i lavoratori.
Insieme, abbiamo creato le politiche e le risorse necessarie, raccogliendo molteplici cicli di feedback dai nostri team interni di legale, dati, sicurezza, etica e ricerca nel processo, prima di pilotarli su un piccolo numero di progetti di raccolta dati e successivamente distribuirli a l’organizzazione più ampia.
Questi documenti forniscono maggiore chiarezza su come impostare al meglio le attività di arricchimento dei dati presso DeepMind, migliorando la fiducia dei nostri ricercatori nella progettazione e nell’esecuzione dello studio. Ciò non solo ha aumentato l’efficienza dei nostri processi di approvazione e lancio, ma, soprattutto, ha migliorato l’esperienza delle persone coinvolte nelle attività di arricchimento dei dati.
Ulteriori informazioni sulle pratiche responsabili di arricchimento dei dati e su come le abbiamo integrate nei nostri processi esistenti sono spiegate nel recente case study di PAI, Implementazione di pratiche responsabili di arricchimento dei dati presso uno sviluppatore di intelligenza artificiale: l’esempio di DeepMind. PAI fornisce anche risorse utili e materiali di supporto per professionisti e organizzazioni di intelligenza artificiale che cercano di sviluppare processi simili.
In attesa
Sebbene queste migliori pratiche siano alla base del nostro lavoro, non dovremmo fare affidamento solo su di esse per garantire che i nostri progetti soddisfino i più elevati standard di benessere e sicurezza dei partecipanti o dei lavoratori nella ricerca. Ogni progetto in DeepMind è diverso, motivo per cui disponiamo di un processo di revisione dei dati umani dedicato che ci consente di collaborare continuamente con i team di ricerca per identificare e mitigare i rischi caso per caso.
Questo lavoro mira a fungere da risorsa per altre organizzazioni interessate a migliorare le proprie pratiche di approvvigionamento per l’arricchimento dei dati e speriamo che ciò porti a conversazioni intersettoriali che potrebbero sviluppare ulteriormente queste linee guida e risorse per team e partner. Attraverso questa collaborazione speriamo anche di innescare una discussione più ampia su come la comunità dell’intelligenza artificiale può continuare a sviluppare norme per la raccolta responsabile dei dati e costruire collettivamente migliori standard di settore.
Leggi di più sul nostro Principi di funzionamento.
