Nuova architettura GNN
La grande maggioranza delle reti neurali a grafo (GNN) segue il paradigma del passaggio di messaggi, in cui gli stati dei nodi vengono aggiornati in base ai messaggi aggregati dei vicini. In questo post descriviamo le GNN cooperative (Co-GNN), un nuovo tipo di architettura di passaggio di messaggi in cui ogni nodo è visto come un giocatore che può scegliere di “ascoltare”, “trasmettere”, “ascoltare e trasmettere” o “isolare”. Il passaggio di messaggi standard è un caso speciale in cui ogni nodo “ascolta e trasmette” a tutti i vicini. Mostriamo che i Co-GNN sono asincroni, più espressivi e possono affrontare i problemi comuni dei GNN di passaggio di messaggi standard come l’eccessivo schiacciamento e l’eccessivo livellamento.
20 ore fa
Questo post è stato scritto in collaborazione con Ben Finkelshtein, Ismail Ceylan e Xingyue Huang ed è basato sull’articolo B. Finkelshtein et al., Reti neurali a grafo cooperativo (2023) arXiv:2310.01267.
GLe reti neurali raph (GNN) sono una classe popolare di architetture utilizzate per l’apprendimento su dati strutturati a grafo come molecole, interattomi biologici e social network. La maggior parte delle GNN seguono il paradigma del passaggio di messaggi (1), dove ad ogni livello i nodi del grafico si scambiano informazioni lungo i bordi del grafico. Lo stato di ogni nodo viene aggiornato utilizzando un’operazione di aggregazione invariante per permutazione (tipicamente, una somma o una media) sui messaggi inviati dai nodi adiacenti (2).
Sebbene il paradigma del passaggio di messaggi sia stato molto influente nel graph ML, presenta limitazioni teoriche e pratiche ben note. L’equivalenza formale delle reti neurali a grafo di passaggio di messaggi (MPNN) ai test di isomorfismo dei grafi (3) fornisce un limite superiore teorico al loro potere espressivo. Di conseguenza, è impossibile distinguere anche tra grafici non isomorfi molto semplici (come un 6 cicli e due triangoli nell’esempio seguente) mediante lo scambio di messaggi senza informazioni aggiuntive come la codifica posizionale o strutturale…
Fonte: towardsdatascience.com
