Il viaggio dello sviluppo RAG: dal notebook ai microservizi | di Wenqi Glantz | Febbraio 2024 | Intelligenza-Artificiale

Conversione di un notebook Colab in due microservizi con supporto per Milvus e NeMo Guardrails

11 minuti di lettura

·

14 ore fa

Alla ricerca del RAG aziendale, in questo articolo esploriamo come creare microservizi RAG da un POC della pipeline RAG sviluppato in un notebook Colab. Adottiamo il seguente approccio:

• Genera microservizi RAG standard con LlamaIndex create-llama strumento da riga di comando.
• Sviluppa due microservizi: ingestion-serviceE inference-service per coprire le due fasi principali del RAG.
• Converti la logica del codice dal notebook Colab ai microservizi.
• Aggiungi l’integrazione del database vettoriale Milvus ai nostri nuovi microservizi.
• Aggiungi i parapetti NeMo a inference-service per aggiungere guardrail per input utente, output LLM, moderazione tematica e azioni personalizzate da integrare con LlamaIndex.

Per la prototipazione rapida, il notebook Colab rappresenta l’opzione perfetta grazie alla sua facilità d’uso, accessibilità e utilizzo gratuito.

Per esempio, questo taccuino Colab dimostra come utilizzare la sostituzione dei metadati + la finestra della frase del nodo in una pipeline RAG, che funge da chatbot per Guida per l’utente di NVIDIA AI Enterprise.

SentenceWindowNodeParser è uno strumento che può essere utilizzato per creare rappresentazioni di frasi che considerano le parole e le frasi circostanti. Suddivide i documenti in singole frasi e cattura anche le frasi circostanti, creando un’immagine più ricca. Ora, immagina di dover tradurre o riassumere questo passaggio arricchito. accedere MetadataReplacementNodePostProcessor. Sostituisce attentamente le frasi isolate con il contesto circostante, creando un’interpretazione più fluida e informata. Questo approccio brilla per documenti di grandi dimensioni, dove cogliere le sfumature è fondamentale.

Poiché sappiamo che il riclassificazione aiuta con la precisione del recupero, abbiamo aggiunto CohereRerank come uno dei post processori del nodo.

Il nostro POC è completo e siamo pronti per procedere alla fase successiva del nostro percorso di produzione RAG.