Una panoramica pratica dei processi, dei ruoli e delle complessità coinvolte nello sviluppo di un assistente virtuale basato su GPT
Per tutto il 2023, abbiamo sviluppato un assistente virtuale basato sul modello GPT per i dipendenti di Enefit (una delle più grandi società energetiche nei Paesi Baltici). Nel primo articolo (leggi qui), ho esaminato il problema, il processo di sviluppo e i risultati iniziali. In questo articolo approfondirò il significato delle sfide non legate alla tecnologia nello sviluppo di un assistente virtuale.
All’inizio del 2023 era chiaro che si era verificata una svolta nella tecnologia dei grandi modelli linguistici. A differenza dei chatbot dell’ultimo decennio che spesso deludevano gli utenti alla seconda o alla terza domanda, ChatGPT si è rivelato preciso, versatile e veramente utile. La decisione di OpenAI e Microsoft di offrire accesso programmatico ai propri modelli GPT, attraverso un servizio API aperto, ha creato l’opportunità di implementare casi d’uso specifici dell’azienda.
Ci siamo avvicinati al progetto dell’assistente virtuale Enefit sapendo che la tecnologia di base era pronta, l’interesse interno era elevato e la sfida dello sviluppo del software che, sebbene nuova e complessa, era realizzabile con buoni specialisti.
Nelle prime fasi dello sviluppo, questa narrazione si è rivelata corretta: quasi l’80% delle attività del progetto consisteva in attività di sviluppo software e il 20% erano attività non legate alla tecnologia. Con il progredire del progetto, queste proporzioni sono cambiate drasticamente, portando alla necessità di processi e ruoli completamente nuovi.
Un assistente virtuale può fornire informazioni specifiche sull’azienda solo con la precisione consentita dai documenti sottostanti. In altre parole, se i documenti fondamentali contengono informazioni errate, scarsamente strutturate o obsolete, l’assistente virtuale non può fornire risposte molto migliori. Questo è comunemente chiamato principio GIGO (garbage in, garbage out), che stabilisce limiti fondamentali alle capacità dell’intelligenza artificiale.
Pertanto, una parte significativa della creazione di un assistente virtuale consiste nel garantire la qualità dei dati/informazioni. Ciò comprende:
- Assegnare un proprietario a ogni gruppo di documenti/informazioni che sarà responsabile dell’accuratezza delle informazioni.
- Concordare un meccanismo di feedback che consenta agli utenti dell’assistente virtuale di segnalare risposte sbagliate o disinformazione.
- Stabilire un processo di gestione del feedback per garantire che il feedback degli utenti raggiunga il proprietario delle informazioni e venga messo in atto.
In sostanza, ciò significa che tutte le parti sono coinvolte nella gestione dei dati: gli utenti che forniscono feedback continuo e i proprietari dei dati responsabili di rispondere a tale feedback.
I proprietari dei documenti possono anche contribuire a migliorare il modo in cui l’assistente virtuale trova le informazioni di loro competenza arricchendo le sezioni del documento con parole chiave, testando l’accuratezza dell’assistente virtuale, ristrutturando i contenuti quando necessario, testando, migliorando, testando, migliorando,… In sostanza, i proprietari delle informazioni dovrebbero visualizzare l’assistente virtuale come un collega con cui collaborare!
Per concludere questa sezione, parlerò del nuovo Copilot di Microsoft. Al momento, tutti gli occhi sono puntati sul lancio di Copilot. La maggior parte degli appassionati di tecnologia hanno guardato i video dimostrativi e si aspettano che sia un prodotto plug-and-play che fornisca semi-magicamente buone risposte alle domande relative all’azienda. Tuttavia, questa aspettativa porterà probabilmente alla delusione, poiché anche Copilot non è immune al principio GIGO.
Guardando oltre i video di marketing di Copilot, troviamo un’ampia documentazione sui requisiti di gestione dei documenti. In sintesi, Microsoft si aspetta che (Per saperne di più):
- Tutti i documenti obsoleti verranno eliminati.
- Tutti i documenti devono contenere informazioni accurate e pertinenti.
- Le aziende dovrebbero stabilire un nuovo processo di governance dei dati per garantire quanto sopra.
- I documenti dovrebbero essere arricchiti con parole chiave per migliorare la ricerca.
Si tratta di requisiti elevati, soprattutto quando si tratta di documenti archiviati sui computer dei dipendenti.
Per essere chiari, considero Copilot una nuova fantastica tecnologia. Tuttavia, è fondamentale sottolineare che nessuna tecnologia di assistente virtuale può essere implementata con successo senza un processo di governance dei dati.
Grandi modelli linguistici pre-addestrati (ad esempio, GPT, Llama) sono macchine logiche robotiche. Ciò significa che se vogliamo che ricoprano un ruolo specifico (ad esempio, assistente esecutivo, assistente contrattuale, esperto legale), dobbiamo guidarli e fornire esempi di stile.
Dirigere l’assistente virtuale significa fornire al modello linguistico sia la domanda dell’utente che una guida alla risposta. Per esempio, “Sei un assistente virtuale di Enefit che conosce le politiche e le regole aziendali. Se non riesci a trovare la risposta tra le informazioni disponibili, di’ che non lo sai…“
Con questo tipo di guida possiamo istruire l’assistente virtuale su come comportarsi, dettare il formato che dovrebbe utilizzare per rispondere ed evidenziare cosa dovrebbe evitare.
Tuttavia, una guida generale è spesso insufficiente. Ad esempio, un’azienda potrebbe volere che l’assistente virtuale segua uno stile specifico (formale, amichevole, ecc.). In questi casi possono essere forniti esempi di stile, che sono essenzialmente coppie domanda-risposta. Man mano che i modelli linguistici vengono addestrati a continuare il testo esistente, l’assistente virtuale cerca di rispondere alle domande dell’utente in modo simile agli esempi di stile forniti.
Creare guide di risposta ed esempi di stile, testare diverse versioni e perfezionarle costituisce la terza parte significativa dello sviluppo dell’assistente virtuale.
Il ruolo di “Formatore/Guida dell’assistente virtuale” è completamente nuovo e può essere ricoperto in modo efficace solo da qualcuno esperto nel settore per il quale viene creato l’assistente virtuale. Lo sviluppo efficace dell’assistente virtuale richiede una stretta collaborazione tra gli sviluppatori di software, i proprietari delle informazioni e il formatore dell’assistente virtuale, poiché la causa di ogni risposta “scarsa” potrebbe risiedere in diversi specialisti.
Sviluppare un chatbot che funzioni con un’efficienza dell’80% è facile con le tecnologie odierne, ma creare un assistente virtuale con una qualità del 95% è un compito complesso.
A prima vista, si potrebbe pensare che l’80% sia sufficiente, quindi perché preoccuparsi così tanto per gli ultimi 20 punti percentuali? In realtà, in base all’esperienza degli ultimi dieci anni con i chatbot, sappiamo che un chatbot preciso nell’80% delle volte non supera la “soglia di utilità cognitiva” degli utenti.
Questa soglia di utilità cognitiva è un punto di riferimento nascosto che esiste in tutte le nostre menti, ma non possiamo definire con precisione dove si trovi questo limite. Tuttavia, utilizzando la tecnologia, capiamo rapidamente se questo limite è stato superato o meno. Se la qualità della tecnologia scende al di sotto di questa soglia, abbandoneremo completamente l’uso di quella tecnologia.
In altre parole, la differenza tra l’80% e il 95% sta nel fatto che nel primo caso nessuno inizierà a utilizzare questa tecnologia e nel secondo caso diventerà un assistente quotidiano per molti dipendenti.
La differenza tra l’80% e il 95% di precisione sta nel fatto che nel primo caso nessuno inizierà a utilizzare questa tecnologia e nel secondo caso diventerà un assistente quotidiano per molti dipendenti!
Per raggiungere quest’ultimo 15-20%, è necessario implementare un sistema di gestione dei dati che garantisca la pertinenza delle informazioni fondamentali, creare nuovi ruoli e processi associati allo sviluppo dell’assistente virtuale, formare tutte le parti sulla nuova tecnologia e supportare l’implementazione e l’adozione sia a livello strategico che operativo. Pertanto, la tecnologia costituisce solo 1/3 dello sviluppo dell’assistente virtuale, mentre le sfide organizzative e legate ai processi costituiscono il resto.
Fonte: towardsdatascience.com
