Un mix di riflessioni, revisioni della letteratura e un esperimento sull'ingegneria automatizzata dei suggerimenti per modelli linguistici di grandi dimensioni
10 ore fa
Ho trascorso gli ultimi mesi cercando di creare tutti i tipi di app basate su LLM e, in verità, una parte davvero significativa del tempo è stata dedicata solo a migliorare le istruzioni per ottenere l'output desiderato da LLM.
Ci sono stati molti momenti in cui mi sono imbattuto in una sorta di vuoto esistenziale, chiedendomi se potessi essere semplicemente un glorificato ingegnere tempestivo. Dato lo stato attuale dell'interazione con gli LLM, sono ancora propenso a concludere con “Non ancora” e quasi tutte le sere supero la mia sindrome dell'impostore. Non ne parleremo oggi.
Ma spesso mi chiedo ancora se, un giorno, il processo di scrittura dei suggerimenti potrebbe essere per lo più automatizzato. E penso che la risposta a questo scenario futuristico dipenda dalla scoperta della natura del pronto ingegneria.
Nonostante l'innumerevole numero di manuali di ingegneria rapida disponibili sulla vasta Internet, non riesco ancora a decidere se l'ingegneria rapida sia un'opzione un'arte o una scienza.
Da un lato, sembra un'arte quando devo imparare e modificare in modo iterativo i miei suggerimenti in base a ciò che osservo negli output. Con il passare del tempo imparerai che alcuni piccoli dettagli contano: usare “must” invece di “should” o posizionare le linee guida verso la fine invece che al centro del prompt. A seconda del compito, ci sono semplicemente troppi modi in cui si può esprimere una serie di istruzioni e linee guida, e talvolta sembra che si debbano procedere per tentativi ed errori.
D'altra parte, si potrebbe sostenere che i prompt sono solo iperparametri. Alla fine, LLM vede in realtà i tuoi prompt come incorporamenti e, come tutti gli iperparametri, puoi ottimizzarli e misurare oggettivamente le sue prestazioni se disponi di un insieme stabilito di dati di formazione e test. Recentemente mi sono imbattuto in questo post di Moritz Laurerchi è un ingegnere ML presso HuggingFace:
Ogni volta che provi un prompt diverso sui tuoi dati, diventi meno sicuro che LLM si generalizzi effettivamente a dati invisibili… Utilizzare una suddivisione di convalida separata per ottimizzare l'iperparametro principale di LLM (il prompt) è importante quanto train-val- testare la suddivisione per la messa a punto. L'unica differenza è che non hai una formazione…
Fonte: towardsdatascience.com
