Combinazione di LLM con il giudizio umano tramite Prediction-Powered Inference (PPI)
Nell'analisi aziendale, il calcolo del Net Promoter Score (NPS) comporta in genere l'annotazione manuale dei dati da parte dei dipendenti. Alcuni potrebbero pensare di utilizzare modelli di apprendimento automatico per etichettare i dati, tuttavia ciò non ha le garanzie teoriche che otteniamo dai dati etichettati dagli esseri umani. Entra in Prediction-Powered Inference (PPI), una nuova tecnica statistica che combina dati etichettati da esseri umani e macchine per creare intervalli di confidenza efficienti in termini di dati e teoricamente garantiti.
Questo articolo esplora l'intuizione alla base del PPI e sottolinea il motivo per cui vorresti utilizzarlo. Passiamo quindi a una procedura dettagliata del codice su come utilizzarlo per due metriche: NPS e consigli dei clienti.
Il PPI è una tecnica statistica proposta da Angelopoulos et al. (1). L’obiettivo è migliorare gli intervalli di confidenza combinando dati etichettati da esseri umani e macchine. Esaminiamo alcuni passaggi per motivarne l'utilità.
Nel nostro caso d'uso vogliamo stimare il vero punteggio NPS dato una serie di recensioni dei clienti. In genere, un dipendente legge manualmente ciascuna recensione e assegna un punteggio da 1 a 10, un metodo affidabile ma inefficiente in termini di tempo. Quando si hanno a che fare con numerose recensioni sarebbe conveniente avere un metodo più automatico.
Per risolvere questo problema, possiamo sfruttare un modello di machine learning. Un Large Language Model (LLM) è un buon candidato per risolvere questo problema perché generalizza bene a nuovi compiti. Al modello viene richiesto di leggere la recensione e di generare un punteggio. Questo è conveniente, ma il modello presenta errori e imperfezioni. Quando prendiamo una decisione, dobbiamo assicurarci che i nostri dati siano allineati con il giudizio umano.
Considerando i limiti di entrambi gli approcci, cosa accadrebbe se potessimo combinarli? Possiamo farlo con l'inferenza basata sulla previsione (PPI)! Il PPI è un framework che sfrutta le garanzie teoriche dei dati etichettati dall’uomo per gli intervalli di confidenza e l’efficienza dei dati etichettati dalla macchina. Con PPI miriamo a trarre vantaggio dai punti di forza di entrambe le tecniche.
Fonte: towardsdatascience.com
