Un rompicapo giapponese ha sconfitto l'intelligenza artificiale. La macchina non è assolutamente in grado di risolverlo.

I puzzle numerici sono un passatempo noto da millenni: sono apparsi per la prima volta nell'antica Cina e hanno iniziato ad apparire sui giornali alla fine del XIX secolo. Circa 20 anni fa, il Sudoku ha guadagnato popolarità a livello globale, un puzzle pubblicato per la prima volta nel 1986 sulla rivista giapponese "Nicoli". Oggi, il gioco conta milioni di fan in tutto il mondo e diverse versioni della sola app per dispositivi mobili sono state scaricate da circa 200 milioni di utenti.

Il Sudoku consiste nel riempire con numeri le caselle vuote di una griglia quadrata 9x9. Ogni riga, colonna e casella 3x3 (il cosiddetto blocco numerico) in cui è suddivisa la griglia deve contenere una cifra da 1 a 9 e nessuna cifra può essere ripetuta. Nel 2005 , i matematici dell'Università di Sheffield (Regno Unito) hanno dimostrato che esistono circa 6 quadrilioni di possibili griglie di Sudoku valide (6x10 elevato alla ventunesima potenza). Esistono anche altre versioni del gioco: ad esempio, una griglia 6x6 deve essere riempita con le cifre da 1 a 6.

Ora, si scopre che il Sudoku rappresenta una sfida per l'intelligenza artificiale. Sebbene l'IA stia facendo enormi progressi, tra le altre cose, nell'analisi di grandi set di dati, nella generazione di testi, immagini e video e nella traduzione, i compiti logici rappresentano il suo punto debole. Lo hanno confermato i ricercatori dell'Università del Colorado a Boulder (USA) , il cui articolo sull'argomento è apparso nell '"ACL Anthology", una raccolta di oltre 110.000 articoli raccolti dall'Association for Computational Linguistics (ACL).

Come ha affermato l'autore principale dell'articolo, l'esperto di informatica e apprendimento automatico Anirudh Maiya, la risoluzione del Sudoku presenta diversi elementi importanti.

"Bisogna procedere passo dopo passo, rivalutare costantemente i campi numerici e seguire costantemente le regole. Enigmi come questi sono divertenti, ma forniscono anche un microcosmo ideale per studiare il processo decisionale nell'apprendimento automatico", ha spiegato l'esperto.

Per lo studio, Maiya e il suo team hanno creato 2.300 Sudoku di varia difficoltà in una griglia 6x6. I ricercatori li hanno poi assegnati a diversi modelli linguistici di grandi dimensioni (LLM), tra cui o1, Llama-3.1, Gemma-2 e Mistral, per risolverli.

L'esperimento ha dimostrato che il compito era troppo difficile per tutti i modelli di intelligenza artificiale : sono riusciti a risolvere solo lo 0,4% dei puzzle. I ricercatori attribuiscono questo al fatto che l'intelligenza artificiale non pensa in modo logico, ma piuttosto determina le soluzioni in base alla probabilità. Pertanto, i compiti basati su regole e ragionamento risultano difficili per l'intelligenza artificiale.

- I modelli di intelligenza artificiale hanno difficoltà a tenere conto simultaneamente di tutti i fattori limitanti di una griglia numerica - hanno spiegato gli autori dell'articolo.

Tra i soggetti del LLM, o1 ha ottenuto i risultati migliori, risolvendo circa il 65% dei Sudoku. Tuttavia, all'aumentare della difficoltà dei puzzle, anche il suo tasso di successo è diminuito.

Ancora più problemi sono emersi quando i ricercatori hanno chiesto all'IA di spiegare come fosse arrivata alla soluzione del puzzle. Di tutti i modelli testati, solo il 5% delle volte è stato in grado di giustificare correttamente l'inserimento di numeri specifici. Spesso, le risposte erano errate o poco chiare.

- Ad esempio, l'IA ha detto: non può esserci un due qui perché c'è già un due in questa riga, il che non era vero - ha affermato il coautore dello studio , il dott. Ashutosh Trivedi.

Ha aggiunto che in alcune situazioni l'IA ignorava le combinazioni numeriche sulla scacchiera o forniva spiegazioni assurde. In uno di questi casi, durante una conversazione sul Sudoku, uno dei modelli ha improvvisamente fornito le previsioni del tempo.

"L'IA era completamente confusa e ha reagito in modo bizzarro", ha affermato il dott. Trivedi.

Secondo gli autori, i risultati dello studio dimostrano che, nonostante gli straordinari risultati raggiunti dall'intelligenza artificiale, non è possibile fare pieno affidamento su di essa, soprattutto nei compiti che richiedono un ragionamento preciso.

"Molte persone parlano di modelli di intelligenza artificiale che sviluppano nuove capacità che non ci si aspetterebbe. Tuttavia, non sorprende che continuino a svolgere male molti compiti", ha concluso Anirudh Maiya.