Una nuova ricerca propone un sistema per determinare l’accuratezza relativa dell’intelligenza artificiale predittiva in un ipotetico contesto medico e quando il sistema dovrebbe rimettersi a un medico umano
L’intelligenza artificiale (AI) ha un grande potenziale per migliorare il modo in cui le persone lavorano in una vasta gamma di settori. Ma per integrare gli strumenti di intelligenza artificiale sul posto di lavoro in modo sicuro e responsabile, dobbiamo sviluppare metodi più solidi per comprendere quando possono essere più utili.
Allora quando l’intelligenza artificiale è più precisa e quando lo è un essere umano? Questa domanda è particolarmente importante nel settore sanitario, dove l’intelligenza artificiale predittiva è sempre più utilizzata in compiti ad alto rischio per assistere i medici.
Oggi dentro Medicina della naturaabbiamo pubblicato il nostro documento congiunto con Google Research, che propone CoDoC (Complementarity-driven Deferral-to-Clinical Workflow), un sistema di intelligenza artificiale che impara quando fare affidamento su strumenti di intelligenza artificiale predittiva o affidarsi a un medico per l’interpretazione più accurata delle informazioni mediche immagini.
CoDoC esplora come potremmo sfruttare la collaborazione uomo-intelligenza artificiale in ipotetici contesti medici per ottenere i migliori risultati. In uno scenario di esempio, CoDoC ha ridotto il numero di falsi positivi del 25% per un ampio set di dati mammografici del Regno Unito anonimizzati, rispetto ai flussi di lavoro clinici comunemente utilizzati, senza perdere alcun vero positivo.
Questo lavoro nasce dalla collaborazione con diverse organizzazioni sanitarie, tra cui la Stop TB Partnership dell’Ufficio delle Nazioni Unite per i servizi di progetto. Per aiutare i ricercatori a sviluppare il nostro lavoro per migliorare la trasparenza e la sicurezza dei modelli di intelligenza artificiale per il mondo reale, abbiamo anche reso open source Il codice di CoDoC su GitHub.
CoDoC: strumento aggiuntivo per la collaborazione uomo-intelligenza artificiale
Costruire modelli di IA più affidabili spesso richiede la riprogettazione del complesso funzionamento interno dei modelli di IA predittivi. Tuttavia, per molti operatori sanitari semplicemente non è possibile riprogettare un modello di intelligenza artificiale predittiva. CoDoC può potenzialmente aiutare a migliorare gli strumenti di intelligenza artificiale predittiva per i suoi utenti senza richiedere loro di modificare lo strumento di intelligenza artificiale sottostante stesso.
Durante lo sviluppo di CoDoC, avevamo tre criteri:
- Gli esperti non di machine learning, come gli operatori sanitari, dovrebbero essere in grado di implementare il sistema ed eseguirlo su un singolo computer.
- La formazione richiederebbe una quantità di dati relativamente piccola, in genere solo poche centinaia di esempi.
- Il sistema potrebbe essere compatibile con qualsiasi modello di intelligenza artificiale proprietario e non avrebbe bisogno di accedere al funzionamento interno del modello o ai dati su cui è stato addestrato.
Determinare quando l’IA predittiva o un medico è più accurato
Con CoDoC proponiamo un sistema di intelligenza artificiale semplice e utilizzabile per migliorare l’affidabilità aiutando i sistemi di intelligenza artificiale predittiva a “sapere quando non sanno”. Abbiamo esaminato scenari in cui un medico potrebbe avere accesso a uno strumento di intelligenza artificiale progettato per aiutare a interpretare un’immagine, ad esempio esaminando una radiografia del torace per verificare se è necessario un test per la tubercolosi.
Per qualsiasi contesto clinico teorico, il sistema CoDoC richiede solo tre input per ciascun caso nel set di dati di addestramento.
- L’IA predittiva restituisce un punteggio di confidenza compreso tra 0 (certo che non è presente alcuna malattia) e 1 (certo che la malattia è presente).
- L’interpretazione dell’immagine medica da parte del clinico.
- La verità fondamentale sulla presenza o meno della malattia, come stabilito, ad esempio, tramite biopsia o altro follow-up clinico.
Nota: CoDoC non richiede l’accesso ad alcuna immagine medica.
CoDoC impara a stabilire l’accuratezza relativa del modello di intelligenza artificiale predittiva rispetto all’interpretazione dei medici e come tale relazione fluttua con i punteggi di confidenza dell’intelligenza artificiale predittiva.
Una volta addestrato, CoDoC potrebbe essere inserito in un ipotetico flusso di lavoro clinico futuro che coinvolge sia un’intelligenza artificiale che un medico. Quando l’immagine di un nuovo paziente viene valutata dal modello di intelligenza artificiale predittiva, il punteggio di confidenza associato viene inserito nel sistema. Quindi, CoDoC valuta se accettare la decisione dell’IA o affidarsi a un medico si tradurrà in definitiva nell’interpretazione più accurata.
Maggiore precisione ed efficienza
I nostri test completi di CoDoC con più set di dati del mondo reale, inclusi solo dati storici e deidentificati, hanno dimostrato che la combinazione del meglio delle competenze umane e dell’intelligenza artificiale predittiva si traduce in una maggiore precisione rispetto a quella ottenuta singolarmente.
Oltre a ottenere una riduzione del 25% dei falsi positivi per un set di dati mammografici, in ipotetiche simulazioni in cui un’intelligenza artificiale poteva agire autonomamente in determinate occasioni, CoDoC è stato in grado di ridurre di due il numero di casi che dovevano essere letti da un medico terzi. Abbiamo anche mostrato come CoDoC potrebbe ipoteticamente migliorare il triage delle radiografie del torace per i test successivi per la tubercolosi.
Sviluppare responsabilmente l’intelligenza artificiale per la sanità
Sebbene questo lavoro sia teorico, mostra il potenziale di adattamento del nostro sistema di intelligenza artificiale: CoDoC è stato in grado di migliorare le prestazioni nell’interpretazione dell’imaging medico in diverse popolazioni demografiche, contesti clinici, apparecchiature di imaging medico utilizzate e tipi di malattie.
CoDoC è un esempio promettente di come possiamo sfruttare i vantaggi dell’intelligenza artificiale in combinazione con le forze e le competenze umane. Stiamo lavorando con partner esterni per valutare rigorosamente la nostra ricerca e i potenziali benefici del sistema. Per portare la tecnologia come CoDoC in modo sicuro negli ambienti medici del mondo reale, gli operatori sanitari e i produttori dovranno anche capire come i medici interagiscono in modo diverso con l’intelligenza artificiale e convalidare i sistemi con strumenti e impostazioni di intelligenza artificiale medica specifici.
Ulteriori informazioni su CoDoC:
