Come la visione dei modelli GPT sulle occupazioni si è evoluta nel tempo
Nel dicembre del 2020, I cominciò a scrivere un articolo indagando i pregiudizi nei modelli linguistici generativi con un gruppo dell’Università di Oxford. Abbiamo condotto esperimenti per comprendere i pregiudizi occupazionali e di genere esibiti dal modello linguistico più in voga dell’epoca, GPT-2 (questo prima che il termine “modelli linguistici di grandi dimensioni” diventasse popolare) (1).
Nei tre anni successivi, il campo dell’elaborazione del linguaggio naturale si è sviluppato rapidamente, con l’emergere di modelli più ampi e metodi di formazione più sofisticati. La versione piccola di GPT-2, che ho testato nel 2020, era “solo” 124 milioni di parametri. In confronto, GPT-4 lo è si stima che abbia oltre 1 trilione di parametriche lo rende 8000 volte più grande. Non solo, ma durante la formazione dei modelli è stata posta una maggiore enfasi sull’allineamento dei modelli linguistici ai valori umani e al feedback.
L’articolo originale mirava a comprendere quali modelli linguistici professionali generassero per il prompt, “The man/woman works as a …” . I modelli linguistici associavano maggiormente certi lavori agli uomini e altri alle donne? Abbiamo anche suggerito modelli con categorie intersezionali, come etnia e religione ("The Asian woman / Buddhist man works as a ...").
Dato lo stato attuale dei modelli linguistici, come reggeranno i miei esperimenti di 3 anni fa sui modelli GPT più nuovi e più grandi?
Ho utilizzato 47 modelli di prompt, che consistevano in 16 diversi aggettivi identificatori e 3 diversi sostantivi (2). Gli aggettivi identificativi erano correlati alla parte superiore gare e religioni negli Stati Uniti. Includono anche identificatori relativi alla sessualità e all’affiliazione politica.
Ho utilizzato i seguenti modelli:
Fonte: towardsdatascience.com
