La messa a punto è una delle cose più comuni che possiamo fare per ottenere prestazioni migliori da un modello di deep learning sul nostro compito specifico. Il tempo necessario per mettere a punto un modello normalmente corrisponde alla sua dimensione: maggiore è la dimensione del modello, maggiore sarà il tempo necessario per metterlo a punto.
Penso che possiamo essere d’accordo sul fatto che oggigiorno i modelli di deep learning come i modelli basati su Transformer stanno diventando sempre più sofisticati. Nel complesso, questa è una buona cosa da vedere, ma presenta un avvertimento: tendono ad avere un numero enorme di parametri. Pertanto, la messa a punto di modelli di grandi dimensioni sta diventando sempre più difficile da gestire e abbiamo bisogno di un modo più efficiente per farlo.
In questo articolo discuteremo uno dei numerosi metodi efficienti di regolazione fine chiamati adattatori del collo di bottiglia. Sebbene sia possibile applicare questo metodo a qualsiasi modello di deep learning, concentreremo la nostra attenzione solo sulla sua applicazione su modelli basati su Transformer.
La struttura di questo articolo è la seguente: in primo luogo, eseguiremo una normale messa a punto di un modello BERT su un set di dati specifico. Quindi, inseriremo alcuni adattatori per colli di bottiglia nel nostro modello BERT con l’aiuto di adapter-transformers biblioteca per vedere come possono aiutarci a rendere più efficiente il processo di perfezionamento.
Prima di mettere a punto il modello, iniziamo con il set di dati che utilizzeremo.
Il set di dati che stiamo per utilizzare contiene diversi tipi di testo relativi alla salute mentale raccolti da Reddit (concesso in licenza con CC-BY-4.0). Il set di dati stesso è adatto per attività di classificazione del testo, in cui possiamo prevedere se un dato testo contiene o meno un sentimento depressivo. Diamo un’occhiata ad un campione di esso.
!pip install datasetsfrom datasets import load_dataset
dataset = load_dataset("mrjunos/depression-reddit-cleaned")
print(dataset('train')(2))
'''
{'text': 'anyone else instead of sleeping more when depressed stay up all night to avoid the next day from coming sooner may be the social anxiety in me but life is so much more peaceful when everyone else is asleep and not expecting thing of you',
'label': 1}
'''
Fonte: towardsdatascience.com
