Scopri come la tua app LLM Text-to-SQL potrebbe essere vulnerabile ai Prompt Injection e le misure di mitigazione che potresti adottare per proteggere i tuoi dati
La recente ondata di utilizzo degli LLM ha aperto molte possibilità per migliorare la nostra efficienza e produttività. Un’applicazione particolarmente interessante è stata la democratizzazione dell’analisi dei dati tramite applicazioni Text-to-SQL basate su LLM. Negli ultimi mesi abbiamo visto emergere molti strumenti per consentire agli sviluppatori di sfruttare gli LLM per questo scopo, come ad esempio Kit degli strumenti dell’agente SQL LangChain e quello più recente Vanna AI.
Non fraintendermi, penso che questi strumenti siano ottimi per i team e le organizzazioni che desiderano fare di più basato sui dati nel loro processo decisionale. Ma la facilità di astrazione fornita da questi strumenti comporta un problema critico di sicurezza. Quando utilizzi questi moduli per creare le tue applicazioni, perdi la visibilità se il tuo database è veramente sicuro o se hai un controllo preciso sulle query che vengono eseguite. E questo è particolarmente preoccupante data la vulnerabilità alle iniezioni tempestive.
Le iniezioni tempestive non sono una novità, ma sono diventate sempre più rilevanti data la mania delle applicazioni LLM. Diamo un’occhiata a come è possibile creare prompt dannosi utilizzando un database fittizio.
Questi esperimenti sono stati ispirati da questi carta Mi sono imbattuto in ricercatori dell’Universidade de Lisboa, quindi tutto il merito va al loro interessante lavoro in questo spazio!
Puoi anche fare riferimento a taccuino L’ho usato per la sperimentazione. Quelli di voi che hanno giocato con gli LLM, sapranno che l’output non è deterministico, quindi aspettatevi qualche variazione quando eseguite il codice.
La classica applicazione Text-to-SQL probabilmente sarebbe simile a questa:
Invece di utilizzare l’astrazione LangChain, utilizzerò il modello di prompt sottostante per costruire il mio motore di completamento. Malato…
Fonte: towardsdatascience.com
