Con l’avvento dei LLM, la Retrieval Augmented Generation (RAG) struttura ha guadagnato popolarità anche rendendo possibile la creazione di sistemi di risposta alle domande sui dati.
Abbiamo visto tutti quelle demo di chatbot che conversano con PDF o e-mail.
Sebbene questi sistemi siano certamente impressionanti, potrebbero non essere affidabili nella produzione senza modifiche e sperimentazioni.
In questo post esploro i problemi alla base del framework RAG e fornisco alcuni suggerimenti per migliorarne le prestazioni. Ciò va dallo sfruttamento dei metadati dei documenti alla messa a punto degli iperparametri.
Questi risultati si basano sulla mia esperienza come ingegnere ML che sta ancora imparando a conoscere questa tecnologia e costruendo RAG nell’industria farmaceutica.
Senza ulteriori indugi, diamo un’occhiata 🔍
Innanzitutto, chiariamo le basi.
Ecco come funziona RAG.
Per prima cosa accetta una domanda di input e recupera i documenti rilevanti da un database esterno. Quindi, passa quei blocchi come contesto in un prompt per aiutare un LLM a generare un file aumentato risposta.
In pratica significa:
“Ehi LLM, ecco la mia domanda e alcuni frammenti di testo per aiutarti a comprendere il problema. Dammi una risposta.”
Non dovresti lasciarti ingannare dalla semplicità di questo diagramma.
RAG, infatti, nasconde una certa complessità e coinvolge dietro le quinte le seguenti componenti:
- Caricatori per analizzare dati esterni in diversi formati: PDF, siti Web, file Doc, ecc.
- Divisori per suddividere i dati grezzi in parti di testo più piccole
- Un modello di incorporamento per convertire i blocchi in vettori
- Un database vettoriale per archiviare i vettori ed interrogarli
- Una richiesta di combinare la domanda e i documenti recuperati
Fonte: towardsdatascience.com
