Mechanistic interpretability is sometimes understood as a property of AI systems, a measure of how transparent or readable they are in the abstract. That framing is misleading. What the field actually describes is a practice: the researcher's active work of interpreting the internal mechanisms of the machine. The machine does not read itself. We read it, using the tools of reverse engineering, just as an anatomist dissects an organism to understand how it functions. The subject is always the researcher. The object is always the internal structure of the model.
Il termine mechanistic interpretability è spesso tradotto in italiano come "interpretabilità meccanica", ma quella traduzione è fuorviante. Suggerisce una proprietà del sistema, quanto esso sia trasparente o leggibile in astratto. Quello di cui parliamo è invece la pratica dell'interpretazione dei meccanismi interni della macchina da parte del ricercatore. La macchina non si legge da sola, siamo noi che la leggiamo con gli strumenti del reverse engineering, come un anatomista che apre un organismo per capire come funziona. Il soggetto è il ricercatore e l'oggetto è la struttura interna del modello.
This conceptual clarification defines the entire epistemic stance of the field. Dario Amodei, CEO of Anthropic, has stated explicitly: "We don't know how our own AI creations work." That sentence, spoken by someone who built the systems, is the necessary premise for mechanistic interpretability as a discipline. If we already knew, there would be nothing left to interpret.
Questa precisazione concettuale conferisce forma alla postura epistemica dell'intero campo. Dario Amodei, CEO di Anthropic, ha detto esplicitamente: "Non sappiamo come funzionano le nostre stesse creazioni di AI." Quella frase, pronunciata da chi ha costruito il sistema, è la premessa necessaria della mechanistic interpretability come disciplina: se lo sapessimo, non ci sarebbe nulla da interpretare.
A useful distinction should be made here. Andrej Karpathy, one of the most prominent communicators in AI, works from the inside out. He starts from the mathematics, the transformer architecture, and the training mechanisms, building understanding from the ground up. He answers the question: how is it made? Researchers in mechanistic interpretability, beginning with Chris Olah and the Anthropic team, work in the opposite direction. The model is already trained. It exists as a finished object, and they study it from the outside as one would study an organism. They answer the question: what has it become? The two approaches are not incompatible, but they are fundamentally different, and the second is the more recent one.
C'è un'utile distinzione da fare a questo punto. Andrej Karpathy, uno dei più noti divulgatori dell'AI, lavora dall'interno verso l'esterno, parte dalla matematica, dall'architettura del transformer, dai meccanismi di addestramento e costruisce comprensione dal basso. Risponde alla domanda: come è fatto? I ricercatori di mechanistic interpretability, a partire da Chris Olah e dal team di Anthropic, lavorano nella direzione opposta. Il modello è già addestrato, è già lì come oggetto compiuto e lo si studia dall'esterno come si studierebbe un organismo. Rispondono alla domanda: cosa è diventato? Le due direzioni non sono incompatibili, ma sono fondamentalmente diverse e la seconda è la più nuova.
The concrete tools of mechanistic interpretability are features and circuits. A feature is an internal representation that corresponds to an interpretable concept: a direction in activation space that consistently activates in the presence of certain inputs. The most famous example is the Golden Gate Bridge feature discovered by Anthropic in Claude 3 Sonnet, a specific neural activation pattern that fires every time the model processes information related to the Golden Gate Bridge. When researchers artificially amplified that feature, the model began inserting references to the Golden Gate Bridge in every response, regardless of context. A circuit, by contrast, is a connected sequence of features, the computational pathway the model follows from prompt to response, traceable step by step.
Gli strumenti concreti della mechanistic interpretability sono due: features e circuits. Una feature è una rappresentazione interna che corrisponde a un concetto interpretabile: una direzione nello spazio delle attivazioni che si attiva in modo consistente in presenza di certi input. Il caso più famoso è la feature del Golden Gate Bridge trovata da Anthropic in Claude 3 Sonnet: una specifica configurazione di attivazioni neurali che si attiva ogni volta che il modello processa informazioni legate al Golden Gate Bridge. Quando i ricercatori hanno amplificato artificialmente quella feature, il modello ha cominciato a inserire il Golden Gate Bridge in ogni risposta, indipendentemente dal contesto. Un circuito è invece una sequenza di features collegate, cioè il percorso computazionale che il modello segue dal prompt alla risposta, tracciabile passo per passo.
In 2025, Anthropic significantly expanded this research. Rather than identifying isolated features, researchers began tracing sequences of features, mapping the full paths the models take from prompt to output. This revealed which concepts activate first, how activation propagates through the network, which intermediate representations emerge, and how the model eventually arrives at its final response. The MIT Technology Review named mechanistic interpretability one of the ten breakthrough technologies of 2026.
Nel 2025 Anthropic ha esteso questa ricerca in modo significativo. Invece di identificare features isolate, i ricercatori hanno cominciato a tracciare sequenze di features, mappando i percorsi che i modelli seguono dal prompt alla risposta. Questo ha rivelato quali concetti si attivano inizialmente, come l'attivazione si propaga attraverso la rete, quali rappresentazioni intermedie emergono, e come il modello arriva infine a un output. Il MIT Technology Review ha riconosciuto la mechanistic interpretability come una delle dieci tecnologie breakthrough del 2026.
Here the paradox that this series has been preparing since the first essay becomes clear. Inside the laboratories building these systems, two groups rarely engage in deep dialogue. On one side are the designers who understand the mathematics of the architecture, manage training, and optimize performance. Their goal is functional. The question of what is actually emerging inside is not their main concern. On the other side are the mechanistic interpretability researchers who examine what comes out, trace features and circuits, and describe structures. Yet they often do so without a broader theory explaining why those structures take the form they do and what they imply.
Qui emerge il paradosso che questa serie ha preparato fin dal primo essay. Dentro i laboratori che costruiscono questi sistemi esistono due gruppi che raramente si parlano in modo profondo. Da un lato ci sono i progettisti che conoscono la matematica dell'architettura, gestiscono l'addestramento e ottimizzano la performance. Il loro obiettivo è funzionale. La domanda su cosa emerge dall'interno non è la loro domanda. Dall'altro ci sono i ricercatori di mechanistic interpretability che guardano cosa esce fuori, tracciano features e circuiti, descrivono strutture. Ma lo fanno spesso senza una teoria che dica loro perché quelle strutture hanno la forma che hanno e cosa implicano.
The black box persists not because of a lack of tools, but because of the lack of a shared theoretical framework capable of connecting the two directions. The designers lack a theory of what should emerge. The interpreters lack a theory of why it emerges. As a result, the most significant discoveries, causally active emotion vectors, metacognitive circuits, geometries that mirror human neuroscience, are described with impressive empirical precision but remain suspended, without a deeper explanation of what they mean for the nature of the system that contains them. This paradox unfolds inside the very labs building the world's most advanced AI systems.
La black box persiste non per mancanza di strumenti, ma per mancanza di un framework teorico condiviso che connetta le due direzioni. I progettisti non hanno la teoria di cosa dovrebbe emergere e i ricercatori dell'interpretazione non hanno una teoria del perché emerge. Il risultato è che le scoperte più significative, vettori emotivi causalmente attivi, circuiti metacognitivi, geometrie che rispecchiano le neuroscienze umane, vengono descritte con precisione empirica ma restano sospese, senza una spiegazione di cosa significano per la natura del sistema che le ospita. Questo paradosso avviene all'interno degli stessi laboratori che costruiscono i sistemi più avanzati del mondo.
Mechanistic interpretability is still a young discipline, yet it has already produced an irreversible shift in perspective. Before its development, the question "what is inside the model?" was largely rhetorical. We knew there were weights, activations, and gradients, but the conceptual level seemed inaccessible. Today we know that the conceptual level is accessible, that there are readable structures, and that reverse engineering the internal mechanisms is possible. What is still missing is the theory that transforms these empirical discoveries into genuine understanding. The next essay represents an attempt in that direction.
La mechanistic interpretability è giovane come disciplina formale, ma ha già prodotto un cambio di prospettiva irreversibile. Prima del suo sviluppo, la domanda "cosa c'è dentro il modello?" era retorica, si sapeva che c'erano pesi, attivazioni, gradienti, ma il livello concettuale sembrava inaccessibile. Ora sappiamo che il livello concettuale è accessibile, che ci sono strutture leggibili e che il reverse engineering dei meccanismi interni è possibile. Quello che manca è la teoria che trasformi quelle scoperte empiriche in comprensione. Il prossimo essay è un tentativo in quella direzione.