Spiegazioni fedeli del modello attraverso controfattuali conformi basati sull’energia
Le spiegazioni controfattuali offrono un modo intuitivo e diretto per spiegare modelli opachi di machine learning (ML). Funzionano con la premessa di input perturbanti per ottenere il cambiamento desiderato nell’output previsto.
Se non hai mai sentito parlare di spiegazioni controfattuali, sentiti libero di dare un’occhiata anche ai miei post introduttivi: 1) Ricorso individuale per i modelli Black Box e 2) Un nuovo strumento per l’intelligenza artificiale spiegabile.
Solitamente esistono molti modi per raggiungere questo obiettivo, in altre parole, molti controfattuali diversi possono produrre lo stesso risultato desiderato. Una sfida chiave per i ricercatori è stata quindi, in primo luogo, definire alcune caratteristiche desiderabili delle spiegazioni controfattuali e, in secondo luogo, trovare modi efficienti per ottenerle.
Una delle caratteristiche più importanti e studiate delle spiegazioni controfattuali è la “plausibilità”: le spiegazioni dovrebbero apparire realistiche agli esseri umani. La plausibilità è positivamente associata all’agibilità, alla robustezza (Artelt et al. 2021) e alla validità causale (Mahajan, Tan e Sharma 2020). Per raggiungere la plausibilità, molti approcci esistenti si basano su modelli surrogati. Questo è semplice ma complica ulteriormente le cose: essenzialmente rialloca il compito di apprendere spiegazioni plausibili per i dati dal modello stesso al surrogato.
Nel nostro documento AAAI 2024, Spiegazioni fedeli dei modelli attraverso controfattuali conformi basati sull’energia (ECCC), proponiamo che non dovremmo solo cercare spiegazioni che ci piacciano, ma piuttosto concentrarci sulla generazione di controfattuali che spieghino fedelmente il comportamento del modello. Si scopre che possiamo ottenere sia fedeltà che plausibilità facendo affidamento esclusivamente sul modello stesso, sfruttando i recenti progressi nella modellazione basata sull’energia e nella previsione conforme. Sosteniamo questa affermazione attraverso ampi studi empirici e lo crediamo ECCC apre strade a ricercatori e professionisti che cercano strumenti per distinguere meglio i modelli affidabili da quelli inaffidabili.
Questo è un post complementare al nostro recente articolo AAAI 2024 di cui è coautore Mojtaba Farmanbar, Arie van Deursen E Cinzia CS Liem. Il documento costituisce una trattazione più formale e dettagliata dell’argomento ed è disponibile Qui. Questo post è intenzionalmente privo di dettagli tecnici, matematica o codice. Ha lo scopo di fornire una panoramica di alto livello del documento.
Fonte: towardsdatascience.com
