Un ricercatore specializzato nell’interpretabilità dei modelli di intelligenza artificiale afferma di aver trovato una spiegazione all’attivazione di alcuni neuroni artificiali in presenza di concetti che sembrano non avere alcun legame. Secondo Nick Cammarata, questi neuroni potrebbero rilevare caratteristiche comuni più astratte di quanto si pensasse. Questa pista, chiamata «generalizzazione ricorsiva», apre nuove prospettive per comprendere meglio i grandi modelli linguistici, ma è ancora oggetto di dibattito e deve essere valutata dalla comunità scientifica.
I modelli di intelligenza artificiale generativa vengono spesso presentati come «scatole nere». Ricevono una richiesta e producono una risposta, ma è difficile seguire i meccanismi precisi che collegano queste due fasi. Da anni, quindi, i ricercatori cercano di capire cosa avviene all’interno di questi sistemi e in che modo le loro diverse componenti contribuiscano ai risultati.
Una parte di questi studi consiste nell’analizzare i neuroni artificiali che compongono le reti. In un lungo articolo di circa 26.000 parole, Nick Cammarata, ricercatore presso Goodfire AI ed ex dipendente di OpenAI, descrive un metodo per analizzare queste unità matematiche. Il suo obiettivo: chiarire il ruolo di neuroni la cui attivazione è talvolta difficile da interpretare.
Perché i neuroni artificiali sono difficili da interpretare?
I sistemi di IA si basano su diverse architetture, come le reti generative antagoniste, le reti neurali ricorrenti, i transformer o le reti convoluzionali. Nonostante le differenze, queste architetture utilizzano operazioni matematiche organizzate in reti. I neuroni artificiali non sono quindi cellule fisiche: sono elementi di calcolo le cui attivazioni contribuiscono all’elaborazione delle informazioni.
Tuttavia, osservare l’attivazione di un neurone non è sempre sufficiente per capire cosa rappresenti. Uno stesso neurone può attivarsi in presenza di elementi che sembrano molto diversi tra loro. Questa caratteristica rende più difficile interpretare la rete: se un’unità risponde a concetti distinti, è difficile attribuirle una funzione semplice e univoca.
Finora, una spiegazione frequentemente avanzata si basa sulla sovrapposizione. Secondo questa ipotesi, un modello potrebbe usare lo stesso neurone per codificare più concetti perché dispone di un numero limitato di unità. Le rappresentazioni sarebbero sufficientemente distanti nello spazio matematico da poter coesistere senza interferire troppo. Il neurone avrebbe quindi più significati e sarebbe «polisemico».
Un esempio che collega il gatto all’automobile
Per illustrare questa difficoltà, Cammarata cita un neurone che potrebbe attivarsi sia davanti a un gatto sia davanti a un’automobile. A prima vista, queste due categorie non hanno alcun legame evidente. Nell’ambito dell’ipotesi della sovrapposizione, questa attivazione comune potrebbe essere spiegata dalla condivisione della stessa unità tra due concetti senza un legame diretto.
Il ricercatore propone però un’altra interpretazione. Secondo lui, il neurone non riconoscerebbe necessariamente il gatto o l’automobile in quanto tali, ma una forma presente in alcune immagini di entrambe le categorie: un contorno a V. Il muso di un gatto può presentare una configurazione di questo tipo, così come la parte anteriore di alcune automobili.
Questa ipotesi si basa anche su esempi che non attiverebbero la stessa risposta. Oggetti rotondi, come una palla o una lumaca, non presenterebbero la caratteristica visiva ricercata e quindi non attiverebbero il neurone nello stesso modo. Quest’ultimo potrebbe dunque essere sensibile a una proprietà visiva condivisa, anziché a due categorie indipendenti.
La «generalizzazione ricorsiva», un’altra possibile spiegazione
Cammarata definisce questo meccanismo generalizzazione ricorsiva. Secondo questo approccio, un neurone può reagire a esempi diversi perché condividono una struttura comune, talvolta più astratta degli oggetti stessi. L’unità non starebbe quindi necessariamente memorizzando più concetti separati: potrebbe rilevare una caratteristica ricorrente che si ritrova in contesti diversi.
Questa distinzione è importante per l’interpretabilità. Se un neurone si attiva in presenza di più immagini, la semplice osservazione non consente di stabilire subito se raggruppi concetti distinti o se riconosca una proprietà comune. Esaminare gli esempi, i dettagli visivi e le condizioni dell’attivazione potrebbe aiutare a distinguere queste possibilità.
La generalizzazione ricorsiva non dimostra che la sovrapposizione non esista. I due fenomeni potrebbero coesistere nello stesso modello o contribuire in modo diverso al suo funzionamento a seconda dei neuroni e dei compiti. La proposta di Cammarata offre piuttosto una spiegazione aggiuntiva da verificare quando un’unità sembra rispondere a contenuti eterogenei.
Comprendere meglio i neuroni per studiare i modelli nel loro insieme
L’analisi dei neuroni rientra in un campo chiamato interpretabilità meccanicistica. Questo ambito cerca di identificare i meccanismi interni di un modello, invece di limitarsi a confrontare le richieste che riceve con le risposte che produce. Lo studio delle singole attivazioni potrebbe quindi rivelare alcune fasi dell’elaborazione delle informazioni e fornire indizi sui motivi di un determinato comportamento.
Questo approccio interessa anche gli operatori che sviluppano strumenti basati sull’IA. Le nuove applicazioni stanno già trasformando il panorama professionale, con la nascita di nuove professioni legate all’intelligenza artificiale. Comprendere i meccanismi dei modelli diventa quindi una questione sia scientifica sia pratica, in particolare per valutarne meglio capacità e limiti.
Nick Cammarata ritiene che lo studio dei neuroni possa essere utile con modelli di grandissime dimensioni, contenenti fino a diverse migliaia di miliardi di parametri. Se questa stima verrà confermata, indicherebbe che l’analisi interna di sistemi complessi è più accessibile di quanto si pensasse. Ciò non significa tuttavia che sia già possibile spiegare in modo completo e certo ogni decisione di un modello.
Qual è il legame con la sicurezza e l’allineamento dell’IA?
Capire perché un modello risponde in un certo modo potrebbe aiutare a individuare comportamenti inattesi. I ricercatori potrebbero cercare di determinare quali rappresentazioni interne contribuiscono a una risposta e poi studiare le circostanze in cui emergono. In futuro, queste conoscenze potrebbero contribuire agli studi sull’allineamento, ovvero su come avvicinare i comportamenti di un’IA agli obiettivi e ai vincoli stabiliti dai suoi progettisti.
La questione assume particolare importanza man mano che i sistemi diventano capaci di pianificare e concatenare operazioni. Nel caso degli agenti autonomi, non basta osservare una singola risposta: occorre anche poter esaminare i passaggi compiuti per svolgere un’attività. Studiare i meccanismi interni potrebbe integrare i metodi di monitoraggio e controllo, senza tuttavia garantire da solo che un sistema agisca sempre come previsto.
La sicurezza dei sistemi dipende anche dalla protezione delle informazioni che vi circolano. Tecnologie come la blockchain vengono esplorate per rafforzare la tracciabilità e la protezione dei dati, un tema trattato in questo articolo sulla tracciabilità dei dati tramite blockchain. L’interpretabilità dei modelli e la sicurezza dei dati rispondono a esigenze diverse, ma possono contribuire a una riflessione più ampia sulla fiducia negli strumenti digitali.
Reazioni entusiaste, ma anche riserve
La pubblicazione di Cammarata ha suscitato reazioni contrastanti tra gli specialisti. Sam Altman, a capo di OpenAI, ha elogiato il lavoro, mentre Tarun Gogineni, anch’egli dipendente dell’azienda, lo ha descritto come una tappa importante per la scienza. Altri ricercatori hanno accolto con interesse l’approccio, pur ritenendo che non modificasse necessariamente le conclusioni generali del settore.
Neel Nanda, di Google DeepMind, ha in particolare espresso riserve sull’ampiezza della portata di questa proposta. Anche se si riuscisse a comprendere ogni neurone singolarmente, sarebbe comunque molto difficile prevedere il comportamento della rete nel suo insieme. L’analogia proposta è quella del meteo: conoscere le proprietà degli elementi microscopici non basta per prevedere facilmente l’evoluzione di un sistema complesso.
Un’altra riserva riguarda la possibile coesistenza delle spiegazioni. Scoprire che un neurone rileva una caratteristica comune non consente di escludere automaticamente la sovrapposizione. Alcune attivazioni possono essere legate a proprietà condivise, mentre altre possono derivare dal riutilizzo di un’unità per più rappresentazioni. I ricercatori dovranno quindi determinare in quali casi si applica ciascun meccanismo.
Un’ipotesi che deve ancora essere esaminata
I risultati presentati non sono ancora stati convalidati da una valutazione indipendente completa. Gli specialisti dovranno esaminare i metodi impiegati, riprodurre le osservazioni e verificare se la generalizzazione ricorsiva si applichi ad altri neuroni, ad altri modelli e a diversi tipi di dati. In particolare, sarà importante verificare la distinzione tra una caratteristica effettivamente comune e una coincidenza nelle attivazioni.
Questa cautela è tanto più necessaria perché l’interpretabilità riguarda questioni concrete di sicurezza. I modelli di IA richiedono ingenti risorse informatiche e il loro sviluppo si svolge in un contesto soggetto a vincoli energetici. I dibattiti sulla disponibilità e sulla sicurezza dell’energia, come quelli menzionati a proposito dell’impegno del G7 di fronte alle tensioni sul mercato energetico, ricordano che la crescita di queste tecnologie dipende anche da condizioni materiali e geopolitiche.
Per il momento, la proposta di Cammarata costituisce quindi una pista di ricerca, piuttosto che una spiegazione definitiva del funzionamento dei neuroni artificiali. Sottolinea la possibilità che alcune attivazioni apparentemente contraddittorie si basino su motivi comuni e riconoscibili. Le prossime analisi dovranno stabilire la reale portata di questa idea e precisare cosa consenta di spiegare nei grandi modelli linguistici.
