Recentemente abbiamo incontrato Petar Veličković, ricercatore presso DeepMind. Insieme ai suoi coautori, Petar presenta il suo articolo The CLRS Algorithmic Reasoning Benchmark al ICML 2022 a Baltimora, Maryland, Stati Uniti.
Il mio viaggio verso DeepMind…
Durante i miei corsi universitari presso l’Università di Cambridge, l’incapacità di giocare abilmente il gioco del Go è stata vista come una chiara prova delle carenze dei moderni sistemi di deep learning. Mi sono sempre chiesto come padroneggiare questi giochi potesse sfuggire al regno delle possibilità.
Tuttavia, all’inizio del 2016, proprio quando ho iniziato il mio dottorato di ricerca in machine learning, tutto è cambiato. DeepMind ha affrontato uno dei migliori giocatori di Go al mondo per a partita di sfidache ho passato diverse notti insonni a guardare. DeepMind ha vinto, producendo un gameplay innovativo (ad esempio “Move 37”).
Da quel momento in poi, ho pensato a DeepMind come a un’azienda in grado di far accadere cose apparentemente impossibili. Quindi, ho concentrato i miei sforzi, un giorno, sull’entrare in azienda. Poco dopo aver conseguito il dottorato di ricerca all’inizio del 2019, ho iniziato il mio viaggio come ricercatore presso DeepMind!
Il mio ruolo…
Il mio ruolo è un circolo virtuoso di apprendimento, ricerca, comunicazione e consulenza. Cerco sempre attivamente di imparare cose nuove (più recentemente Teoria delle categorieun modo affascinante di studiare l’informatica struttura), leggere la letteratura pertinente e guardare conferenze e seminari.
Quindi, utilizzando questi insegnamenti, faccio un brainstorming con i miei compagni di squadra su come possiamo ampliare questo insieme di conoscenze per avere un impatto positivo sul mondo. Da queste sessioni nascono le idee e sfruttiamo una combinazione di analisi teorica e programmazione per impostare e convalidare le nostre ipotesi. Se i nostri metodi danno i loro frutti, in genere scriviamo un articolo condividendo approfondimenti con la comunità più ampia.
La ricerca di un risultato non è altrettanto preziosa senza comunicarlo in modo appropriato e consentire ad altri di utilizzarlo in modo efficace. Per questo motivo, passo molto tempo a presentare il nostro lavoro a conferenze come ICML, a tenere conferenze e a fornire consulenza agli studenti. Ciò porta spesso alla formazione di nuove connessioni e alla scoperta di nuovi risultati scientifici da esplorare, mettendo in moto ancora una volta il circolo virtuoso!
E l’ICML…
Stiamo facendo una presentazione in primo piano del nostro giornale, Il benchmark del ragionamento algoritmico CLRSche speriamo possa sostenere e arricchire gli sforzi nell’area in rapida espansione del ragionamento algoritmico neurale. In questa ricerca, incarichiamo di rappresentare graficamente le reti neurali eseguendo trenta diversi algoritmi dal Introduzione agli algoritmi manuale.
Molti recenti sforzi di ricerca cercano di costruire reti neurali in grado di eseguire calcoli algoritmici, principalmente per dotarle di capacità di ragionamento, che in genere mancano alle reti neurali. Fondamentalmente, ognuno di questi documenti genera un proprio set di dati, il che rende difficile tenere traccia dei progressi e alza la barriera per l’ingresso nel campo.
Il benchmark CLRS, con i suoi generatori di set di dati facilmente esposti, e codice disponibile al pubblicocerca di migliorare queste sfide. Abbiamo già notato un grande livello di entusiasmo da parte della comunità e speriamo di incanalarlo ancora di più durante ICML.
Il futuro del ragionamento algoritmico…
Il sogno principale della nostra ricerca sul ragionamento algoritmico è catturare il calcolo degli algoritmi classici all’interno di esecutori neurali ad alta dimensione. Ciò ci consentirebbe quindi di implementare questi esecutori direttamente su rappresentazioni di dati grezzi o rumorosi, e quindi di “applicare l’algoritmo classico” su input su cui non è mai stato progettato per essere eseguito.
La cosa interessante è che questo metodo ha il potenziale per consentire un apprendimento per rinforzo efficiente in termini di dati. L’apprendimento per rinforzo è ricco di esempi di algoritmi classici forti, ma la maggior parte di essi non può essere applicata in ambienti standard (come Atari), dato che richiedono l’accesso a una grande quantità di informazioni privilegiate. Nostro planimetria renderebbe possibile questo tipo di applicazione catturando il calcolo di questi algoritmi all’interno di esecutori neurali, dopo di che possono essere distribuiti direttamente sulle rappresentazioni interne di un agente. Abbiamo anche un prototipo funzionante che è stato pubblicato su NeurIPS 2021. Non vedo l’ora di vedere cosa verrà dopo!
Non vedo l’ora di…
Non vedo l’ora che arrivi Workshop ICML sulla collaborazione e il teaming uomo-macchinaun argomento che mi sta a cuore. Fondamentalmente, credo che le più grandi applicazioni dell’intelligenza artificiale avverranno attraverso la sinergia con gli esperti del dominio umano. Questo approccio è anche molto in linea con il nostro recente lavoro su potenziare l’intuizione dei matematici puri utilizzando l’intelligenza artificialeche è stato pubblicato sulla copertina di Nature alla fine dell’anno scorso.
Gli organizzatori del workshop mi hanno invitato a una tavola rotonda per discutere le implicazioni più ampie di questi sforzi. Parlerò insieme a un affascinante gruppo di co-relatori, tra cui Sir Tim Gowersche ho ammirato durante i miei studi universitari al Trinity College di Cambridge. Inutile dire che sono davvero entusiasta di questo pannello!
Guardando avanti…
Per me, le conferenze più importanti come l’ICML rappresentano un momento per fermarmi e riflettere sulla diversità e sull’inclusione nel nostro campo. Sebbene i formati di conferenza ibridi e virtuali rendano gli eventi accessibili a un numero di persone mai raggiunto prima, c’è ancora molto da fare per rendere l’intelligenza artificiale un campo diversificato, equo e inclusivo. Gli interventi legati all’intelligenza artificiale avranno un impatto su tutti noi e dobbiamo assicurarci che le comunità sottorappresentate rimangano una parte importante del dibattito.
Questo è esattamente il motivo per cui sto tenendo un corso su Apprendimento profondo geometrico al Master africano in Machine Intelligence (AMMI) – un argomento di cui ho scritto recentemente come coautore proto-libro. AMMI offre lezioni di machine learning di alto livello ai più brillanti ricercatori emergenti dell’Africa, costruendo un sano ecosistema di professionisti dell’intelligenza artificiale nella regione. Sono così felice di aver incontrato di recente diversi studenti AMMI che si sono uniti a DeepMind per posizioni di stage.
Sono anche incredibilmente appassionato delle opportunità di sensibilizzazione nella regione dell’Europa orientale, da cui provengo, che mi ha dato le basi scientifiche e la curiosità necessarie per padroneggiare i concetti di intelligenza artificiale. IL Apprendimento automatico dell’Europa orientale (EEML) è particolarmente impressionante: attraverso le sue attività, gli aspiranti studenti e i professionisti della regione sono in contatto con ricercatori di livello mondiale e ricevono preziosi consigli sulla carriera. Quest’anno ho contribuito a portare l’EEML nella mia città natale, Belgrado, in qualità di uno dei principali organizzatori dell’EEML Workshop serbo sull’apprendimento automatico. Spero che questo sia solo il primo di una serie di eventi per rafforzare la comunità locale dell’IA e dare potere ai futuri leader dell’IA nella regione EE.
