Per comprendere le capacità dell’intelligenza artificiale attraverso queste abilità cognitive, proponiamo un protocollo di valutazione in tre fasi che confronta le prestazioni del sistema in relazione alle capacità umane:
- Valuta i sistemi di intelligenza artificiale attraverso un’ampia gamma di compiti cognitivi che coprono ciascuna abilità, utilizzando set di test conservati per prevenire la contaminazione dei dati
- Raccogliere linee di base umane per gli stessi compiti da un campione demograficamente rappresentativo di adulti
- Mappa le prestazioni di ciascun sistema di intelligenza artificiale in relazione alla distribuzione delle prestazioni umane in ciascuna abilità
Passando dalla teoria alla pratica
Definire queste capacità cognitive è un primo passo cruciale, ma abbiamo bisogno di qualcosa di più di un quadro per misurare i progressi. Per mettere in pratica questa teoria, stiamo lanciando un nuovo hackathon di Kaggle – “Misurare i progressi verso l’AGI: abilità cognitiveL’hackathon incoraggia la comunità a progettare valutazioni per cinque abilità cognitive in cui il divario valutativo è maggiore: apprendimento, metacognizione, attenzione, funzioni esecutive e cognizione sociale.
I partecipanti possono utilizzare il nuovo lancio di Kaggle Benchmark comunitari piattaforma per costruire e testare le proprie valutazioni rispetto a una serie di modelli di frontiera.
Offriamo un montepremi totale di $ 200.000: premi di $ 10.000 per i primi due progetti in ciascuno dei cinque brani e un primo premio di $ 25.000 per i quattro migliori progetti in assoluto. Le iscrizioni sono aperte dal 17 marzo al 16 aprile e annunceremo i risultati il 1 giugno. Vai al Sito web di Kaggle per iniziare a costruire.
Fonte: deepmind.google
