Panoramica e implementazione con Python
introduzione
Non molto tempo fa, ho tentato di farlo costruire un semplice chatbot personalizzato che verrebbe eseguito interamente sulla mia CPU.
I risultati erano spaventosi, con l'applicazione che si bloccava frequentemente. Detto questo, non si tratta di un risultato scioccante. A quanto pare, ospitare un modello con parametri 13B su un computer da 600 dollari è l'equivalente di programmazione di far percorrere a un bambino una montagna.
Questa volta, ho fatto un tentativo più serio di creare un chatbot di ricerca con un progetto end-to-end che utilizza AWS per ospitare e fornire accesso ai modelli necessari per creare l'applicazione.
Il seguente articolo descrive in dettaglio i miei sforzi per sfruttare RAG per creare un chatbot di ricerca ad alte prestazioni che risponda alle domande con informazioni tratte da documenti di ricerca.
Obbiettivo
Lo scopo di questo progetto è costruire un chatbot per il controllo qualità utilizzando il framework RAG. Risponderà alle domande utilizzando il contenuto dei documenti PDF disponibili su arXIV deposito.
Prima di addentrarci nel progetto, consideriamo l'architettura, lo stack tecnologico e la procedura per costruire il chatbot.
Architettura dei chatbot
Il diagramma sopra illustra il flusso di lavoro per l'applicazione LLM.
Quando un utente invia una query su un'interfaccia utente, la query verrà trasformata utilizzando un modello di incorporamento. Quindi, il database vettoriale recupererà gli incorporamenti più simili e li invierà insieme alla query incorporata a LLM. LLM utilizzerà il contesto fornito per generare una risposta accurata, che verrà mostrata all'utente sull'interfaccia utente.
Pila tecnologica
Costruire l'applicazione RAG con i componenti mostrati nell'architettura richiederà diversi strumenti. Gli strumenti degni di nota sono i seguenti:
- Base rocciosa dell'Amazzonia
Base rocciosa dell'Amazzonia è un servizio serverless che consente agli utenti di accedere ai modelli tramite API…
Fonte: towardsdatascience.com
