Concetto ed esempio di Pytorch Lightning
L'addestramento parallelo su un gran numero di GPU è lo stato dell'arte nel deep learning. L'algoritmo open source per la generazione di immagini Stable Diffusion è stato addestrato su un cluster di 256 GPU. Quello di Meta SuperCluster di ricerca sull'intelligenza artificiale contiene più di 24.000 GPU NVIDIA H100 utilizzate per addestrare modelli come Llama 3.
Fonte: towardsdatascience.com
