Utilizza SageMaker Pipelines, JumpStart e Clarify per mettere a punto e valutare un modello Llama 7B
Il 2023 è stato l’anno che ha visto l’ascesa di vari Large Language Models (LLM) nello spazio dell’intelligenza artificiale generativa. Gli LLM hanno una potenza e un potenziale incredibili, ma produrli è stata una sfida costante per gli utenti. Un problema particolarmente diffuso è quale LLM si dovrebbe usare? Ancora più specificamente, come si può valutare l’accuratezza di un LLM? Ciò è particolarmente impegnativo quando c’è un gran numero di modelli tra cui scegliere, diversi set di dati per il fine tuning/RAG e una varietà di tecniche di ingegneria/tuning tempestive da considerare.
Per risolvere questo problema dobbiamo stabilire DevOps migliori pratiche per i LLM. Avere un flusso di lavoro o una pipeline che possa aiutare a valutare diversi modelli, set di dati e prompt. Questo campo sta iniziando a essere conosciuto come LLMOP/FMOP. Alcuni dei parametri che possono essere considerati nei LLMOP sono riportati di seguito, in un flusso (estremamente) semplificato:
In questo articolo proveremo ad affrontare questo problema costruendo una pipeline che ottimizzi, distribuisca e valuti un Modello lama 7B. È inoltre possibile ridimensionare questo esempio utilizzandolo come modello per confrontare più LLM, set di dati e prompt. Per questo esempio, utilizzeremo i seguenti strumenti per creare questa pipeline:
- SageMaker JumpStart: SageMaker JumpStart fornisce vari FM/LLM pronti all’uso sia per la messa a punto che per l’implementazione. Entrambi questi processi possono essere piuttosto complicati, quindi JumpStart astrae le specifiche e consente di specificare il set di dati e i metadati del modello per eseguire la messa a punto e la distribuzione. In questo caso selezioniamo Llama 7B e conduciamo Perfezionamento delle istruzioni che è supportato immediatamente. Per un’introduzione più approfondita alla regolazione fine di JumpStart, fare riferimento a questo blog e questo Esempio di codice lamache useremo come riferimento.
- SageMaker Chiarire/FMEval: SageMaker Clarify fornisce uno strumento di valutazione del modello di base tramite l’interfaccia utente di SageMaker Studio e il software open source Libreria FMEVal Python. La funzionalità è integrata con una varietà di algoritmi diversi che abbracciano diversi PNL…
Fonte: towardsdatascience.com
