Esplora la creazione di un sistema RAG avanzato sul tuo computer. Guida passo-passo completa del ciclo con codice.
Recupero della generazione aumentata (RAG) è una potente tecnica di PNL che combina ampi modelli linguistici con un accesso selettivo alla conoscenza. Ci consente di ridurre le allucinazioni LLM fornendo le parti rilevanti del contesto dai nostri documenti. L’idea di questo articolo è mostrare come è possibile costruire il proprio sistema RAG utilizzando LLM eseguito localmente, quali tecniche possono essere utilizzate per migliorarlo e, infine, come tenere traccia degli esperimenti e confrontare i risultati in W&B.
Tratteremo i seguenti aspetti chiave:
- Edificio un sistema RAG locale di base che utilizza Mistral-7b e LlamaIndex.
- Valutare le sue prestazioni in termini di fedeltà E pertinenza.
- Monitoraggio esperimenti end-to-end utilizzando Weights & Biases (W&B).
- Implementazione RAG avanzato tecniche, come nodi gerarchici e riclassificazione.
Il taccuino completo, inclusi i commenti dettagliati e il codice completo, è disponibile su GitHub.
Innanzitutto, installa la libreria LlamaIndex. Inizieremo impostando l’ambiente e caricando i documenti per i nostri esperimenti. LlamaIndex supporta una varietà di caricatori di dati personalizzati, consentendo un’integrazione flessibile dei dati.
# Loading the PDFReader from llama_index
from llama_index import VectorStoreIndex, download_loader# Initialise the custom loader
PDFReader = download_loader("PDFReader")
loader = PDFReader()
# Read the PDF file
documents = loader.load_data(file=Path("./Mixtral.pdf"))p
Ora possiamo impostare il nostro LLM. Dato che utilizzo MacBook con M1, è estremamente utile da usare chiamata.cpp. Funziona nativamente sia con Metal che con Cuda e consente di eseguire LLM con RAM limitata. Per installarlo potete fare riferimento al loro pronti contro termine ufficiali oppure prova a eseguire:
Fonte: towardsdatascience.com
