Un esempio end-to-end per vedere quanto bene un modello LLM può rispondere alle domande relative ad Amazon SageMaker
Ho scritto parecchi blog su Medium su diversi argomenti tecnici e in modo più approfondito Hosting di modelli di machine learning (ML) su Amazon SageMaker. Ultimamente ho anche sviluppato un interesse per il crescente ecosistema di intelligenza artificiale generativa/modello linguistico di grandi dimensioni (come tutti gli altri nel settore lol).
Questi due diversi verticali mi hanno portato a una domanda interessante. Quanto sono efficaci i miei articoli Medium nell’insegnare Amazon SageMaker? Per rispondere a questa domanda ho deciso di implementare una soluzione di intelligenza artificiale generativa che utilizza Recupero della generazione aumentata (RAG) con accesso ad alcuni dei miei articoli per vedere quanto bene potrebbe rispondere ad alcune domande relative a SageMaker.
In questo articolo daremo un’occhiata alla creazione di una soluzione di intelligenza artificiale generativa end-to-end e utilizzeremo alcuni diversi strumenti popolari per rendere operativo questo flusso di lavoro:
- LangChain: LangChain è un popolare framework Python che aiuta a semplificare le applicazioni di intelligenza artificiale generativa fornendo moduli già pronti che aiutano con Prompt Engineering, implementazione RAG e orchestrazione del flusso di lavoro LLM.
- OpenAI: LangChain si occuperà dell’orchestrazione della nostra app di intelligenza artificiale generativa, il cervello tuttavia è ancora il modello. In questo caso utilizziamo un LLM fornito da OpenAI, ma LangChain si integra anche con diverse fonti di modelli come SageMaker Endpoints, Cohere, ecc.
NOTA: Questo articolo presuppone una conoscenza intermedia di Python e una conoscenza di base di LangChain in particolare. Suggerirei di seguire questo articolo per comprendere LangChain e creare meglio applicazioni di intelligenza artificiale generativa.
DISCLAIMER: Sono un Machine Learning Architect presso AWS e le mie opinioni sono mie.
I Large Language Models (LLM) di per sé sono incredibilmente potenti e spesso possono rispondere a molte domande senza l’assistenza di perfezionamenti o conoscenze/contesto aggiuntivi.
Ciò tuttavia può diventare un collo di bottiglia quando è necessario accedere ad altre fonti di dati specifiche e soprattutto a dati recenti. Ad esempio, sebbene OpenAI sia stato addestrato su un ampio corpus di dati, non è a conoscenza dei miei recenti…
Fonte: towardsdatascience.com
