Apprendimento autosupervisionato utilizzando teste di proiezione | di Daniel Warfield | Intelligenza-Artificiale

In questo post imparerai a conoscere l’apprendimento autosupervisionato, come può essere utilizzato per migliorare le prestazioni del modello e il ruolo svolto dalle teste di proiezione nel processo di apprendimento autosupervisionato. Tratteremo l’intuizione, un po’ di letteratura e un esempio di visione artificiale in PyTorch.

A chi è utile? Chiunque abbia dati non etichettati e incrementabili.

Quanto è avanzato questo post? L’inizio di questo post è concettualmente accessibile ai principianti, ma l’esempio è più focalizzato sui data scientist di livello intermedio e avanzato.

Prerequisiti: Una conoscenza di alto livello delle reti convoluzionali e dense.

Codice: È possibile trovare il codice completo Qui.

Generalmente, quando si pensa ai modelli, si considerano due campi: modelli supervisionati e non supervisionati.

• Apprendimento supervisionato è il processo di addestramento di un modello basato su etichettato informazione. Quando si addestra un modello per prevedere se le immagini contengono gatti o cani, ad esempio, si cura una serie di immagini etichettate come aventi un gatto o un cane, quindi si addestra il modello (utilizzando discesa del gradiente) per comprendere la differenza tra immagini con cani e gatti.
• Apprendimento non supervisionato è il processo di dare una sorta di modello senza etichetta informazioni ed estrarre inferenze utili attraverso una sorta di trasformazione dei dati. Un classico esempio di apprendimento non supervisionato è il clustering; dove gruppi di informazioni vengono estratti da dati non raggruppati in base alla posizione locale.

L’apprendimento autosupervisionato è una via di mezzo. Usi di autocontrollo etichette che vengono generati in modo programmatico, non dagli esseri umani. In un certo senso è supervisionato perché il modello apprende dai dati etichettati, ma in altri modi non è supervisionato perché all’algoritmo di training non vengono fornite etichette. Quindi autocontrollato.

L’apprendimento autosupervisionato (SSL) mira a produrre rappresentazioni di funzionalità utili senza accesso ad alcuna annotazione di dati etichettati da esseri umani. —K Gupta et al.