Uno studio condotto in collaborazione tra Prolifico, Patatae il Università del Michigan ha fatto luce sulla significativa influenza dei dati demografici degli annotatori sullo sviluppo e sulla formazione dei modelli di intelligenza artificiale.
Lo studio ha approfondito l’impatto di età, razza e istruzione sui dati di addestramento dei modelli di intelligenza artificiale, evidenziando i potenziali pericoli che i pregiudizi diventino radicati nei sistemi di intelligenza artificiale.
“Sistemi come ChatGPT sono sempre più utilizzati dalle persone per le attività quotidiane”, spiega il professore assistente David Jurgens della School of Information dell’Università del Michigan.
“Ma quali valori stiamo instillando nel modello addestrato? Se continuiamo a prelevare un campione rappresentativo senza tenere conto delle differenze, continuiamo a emarginare alcuni gruppi di persone”.
I sistemi di machine learning e intelligenza artificiale si affidano sempre più all’annotazione umana per addestrare i propri modelli in modo efficace. Questo processo, spesso definito “Human-in-the-loop” o Apprendimento per rinforzo dal feedback umano (RLHF), coinvolge gli individui che rivedono e classificano i risultati del modello linguistico per perfezionare le proprie prestazioni.
Uno dei risultati più sorprendenti dello studio è l’influenza dei dati demografici sull’etichettatura di offensività.
La ricerca ha rilevato che diversi gruppi razziali avevano diverse percezioni di offensività nei commenti online. Ad esempio, i partecipanti neri tendevano a considerare i commenti più offensivi rispetto ad altri gruppi razziali. Anche l’età ha avuto un ruolo, poiché i partecipanti di età pari o superiore a 60 anni avevano maggiori probabilità di etichettare i commenti come offensivi rispetto ai partecipanti più giovani.
Lo studio ha coinvolto l’analisi di 45.000 annotazioni di 1.484 annotatori e ha coperto un’ampia gamma di compiti, tra cui il rilevamento di atteggiamenti offensivi, la risposta alle domande e la cortesia. Ha rivelato che i fattori demografici continuano a influenzare anche compiti oggettivi come la risposta alle domande. In particolare, l’accuratezza nel rispondere alle domande è stata influenzata da fattori come la razza e l’età, che riflettono le disparità nell’istruzione e nelle opportunità.
Anche la cortesia, un fattore significativo nella comunicazione interpersonale, è stata influenzata dai dati demografici.
Le donne tendevano a giudicare i messaggi meno educati rispetto agli uomini, mentre i partecipanti più anziani erano più propensi ad assegnare punteggi di cortesia più alti. Inoltre, ai partecipanti con livelli di istruzione più elevati venivano spesso assegnati punteggi di cortesia inferiori e sono state osservate differenze tra gruppi razziali e partecipanti asiatici.
Phelim Bradley, CEO e co-fondatore di Prolific, ha dichiarato:
“L’intelligenza artificiale toccherà tutti gli aspetti della società e c’è il pericolo reale che i pregiudizi esistenti vengano introdotti in questi sistemi.
Questa ricerca è molto chiara: chi annota i tuoi dati è importante.
Chiunque stia costruendo e formando sistemi di intelligenza artificiale deve assicurarsi che le persone che utilizzano siano rappresentative a livello nazionale in termini di età, sesso e razza o che i pregiudizi non faranno altro che generare ulteriori pregiudizi”.
Man mano che i sistemi di intelligenza artificiale diventano sempre più integrati nelle attività quotidiane, la ricerca sottolinea l’imperativo di affrontare i pregiudizi nelle prime fasi di sviluppo del modello per evitare di esacerbare i pregiudizi e la tossicità esistenti.
È possibile trovare una copia completa del documento Qui (PDF)
(Fotografato da Banche d’argilla SU Unsplash)
Guarda anche: Il riconoscimento facciale incline agli errori porta a un altro arresto illegale
Vuoi saperne di più sull’intelligenza artificiale e sui big data dai leader del settore? Guardare Fiera dell’intelligenza artificiale e dei big data che si svolge ad Amsterdam, in California, e a Londra. L’evento completo è co-localizzato con Settimana della trasformazione digitale.
Esplora altri prossimi eventi e webinar sulla tecnologia aziendale forniti da TechForge Qui.
