The previous essays in this series described structures that no one designed and a mirror that returns uncomfortable images. This piece moves down a level and examines not what emerges, but how what emerges is actually built. Three elements appear consistently in current mechanistic interpretability research: vectors, constraints, and language. These are not mere metaphors. They are empirically observable structures found inside the models.
Gli essay precedenti di questa serie hanno descritto strutture che nessuno ha progettato e uno specchio che restituisce immagini scomode. Questo essay scende di un livello e parla non di cosa emerge, ma di come è fatto quello che emerge. Tre elementi ricorrono in modo sistematico nella ricerca attuale sulla mechanistic interpretability: vettori, vincoli e linguaggio, intesi come strutture empiricamente rilevabili dentro i modelli e non come semplici metafore.
Let us begin with vectors. When researchers open a language model and investigate how concepts are represented, they find directions in activation space. The concept of "anger," for example, is not a fixed label stored at a specific point but a direction with a relational position relative to other concepts. Researchers in mechanistic interpretability call this the activation lens approach: they project the model's hidden states into readable conceptual spaces to see whether a given layer emphasizes objects, emotions, or relations. What they discover is geometric. And as we saw in RE·03, this geometry tends to closely resemble the geometry with which the human mind organizes the same concepts.
Cominciamo dai vettori. Quando i ricercatori aprono un modello linguistico e cercano come vengono rappresentati i concetti, trovano direzioni nello spazio delle attivazioni. Per esempio, il concetto di "rabbia" non è un'etichetta memorizzata in un punto fisso, ma una direzione, con una posizione relativa rispetto ad altri concetti. I ricercatori della mechanistic interpretability chiamano questo approccio activation lens, che consiste nel proiettare gli stati nascosti del modello in spazi concettuali leggibili, rivelando se un dato layer enfatizza oggetti, emozioni o relazioni. Quello che trovano è geometrico, e questa geometria, come abbiamo visto in RE·03, tende ad assomigliare alla geometria con cui la mente umana organizza gli stessi concetti.
What is most striking is that this geometry has a systematic origin. Recent research shows that the structure of representations emerges from symmetries in the statistics of natural data: the geometric relationships between concepts reflect deep patterns in human language. The model extracts the geometry of meaning from what is already present in the text, and that structure existed because human language itself contains it.
La cosa più sorprendente è che tale geometria ha un'origine sistematica. Ricerche recenti mostrano che la struttura delle rappresentazioni emerge dalla simmetria nelle statistiche dei dati naturali: le relazioni geometriche tra concetti riflettono pattern profondi nel linguaggio umano. Il modello estrae la geometria del significato da quello che c'è nel testo e questa struttura era già lì perché il linguaggio umano la contiene.
The second element is constraints. A geometric space without constraints is uniform: everything is equally reachable and nothing has a preferred shape. Constraints are the conditions that give the space form, creating accessible regions and costly ones. In language models, the primary constraint is context. What the model has already processed acts as an active pressure on the geometry of subsequent representations.
Il secondo elemento sono i vincoli. Uno spazio geometrico senza vincoli è uniforme, tutto è ugualmente raggiungibile, niente ha forma preferenziale. I vincoli sono le condizioni che danno forma allo spazio, che creano regioni accessibili e regioni costose. Nei modelli linguistici, il vincolo principale è il contesto. Quello che il modello ha già processato è una pressione attiva sulla geometria delle rappresentazioni successive.
Research demonstrates this with great precision. In next-token prediction tasks, increasing the context makes the neural trajectories more linear and more predictable, improving the model's performance. Context does not merely add information to an existing structure. It reshapes the internal geometry as it is being processed. Every new token entering the context functions as a fresh constraint that restricts and orients the space of possible configurations for the tokens that follow.
La ricerca lo mostra in modo molto preciso. Nei task di predizione continua, aumentare il contesto rende le traiettorie neurali più lineari e più prevedibili, migliorando la performance del modello. Il contesto ridisegna la geometria interna. Non aggiunge informazione a una struttura già formata, ne modifica la forma mentre viene processato. Ogni token che entra nel contesto è un nuovo vincolo che restringe e orienta lo spazio delle configurazioni possibili per i token successivi.
The third element is language, and here things become more subtle. One might assume language is simply the raw input on which vectors and constraints operate. Research reveals something more interesting: language in context is not passive. When the model processes a new linguistic structure, the geometry of its internal representations actively reshapes itself to reflect that structure. Language enters and changes the shape of the space in which the model operates.
Il terzo elemento è il linguaggio, e qui la cosa si fa più sottile. Si potrebbe pensare che il linguaggio sia l'input del sistema, il materiale grezzo su cui operano i vettori e i vincoli. Ma la ricerca mostra qualcosa di più interessante: il linguaggio nel contesto non è passivo. Quando un modello processa una struttura linguistica nuova in contesto, la geometria delle sue rappresentazioni interne si ridisegna per rispecchiare quella struttura. Il linguaggio entra, e cambia la forma dello spazio in cui il modello opera.
A clear example: when the context contains true or false statements about a topic, the geometry with which the model represents the truth of new statements transforms according to that context. The model is not simply updating a database of facts. The internal geometric structure it uses to process the very concept of truth is being actively redrawn by the language it has just processed.
Un esempio preciso: quando il contesto contiene affermazioni vere o false su un argomento, la geometria con cui il modello rappresenta la verità di nuove affermazioni si trasforma in funzione di quel contesto. Non è che il modello aggiorna un database di fatti. È che la struttura geometrica interna con cui elabora il concetto di verità viene attivamente ridisegnata dal linguaggio che ha appena processato.
In short, natural language enters as tokens, becomes numerical embeddings, and those numerical values propagate through the layers, modifying the system's internal state. There is no direct leap from words to mathematics. There is a chain in which language is first mathematized, and that mathematics then acts upon the subsequent mathematics. Ultimately, natural language is the point of entry, but it is its mathematical translation that operates on the internal mathematical structure.
La ricerca mostra che quando il modello processa del linguaggio in contesto, le attivazioni interne, cioè i valori numerici nei layer, cambiano la loro distribuzione geometrica. Pertanto, il linguaggio naturale, una volta trasformato in rappresentazione matematica attraverso i meccanismi del transformer, modifica la geometria dello spazio in cui le rappresentazioni successive si collocano. In questo senso, il linguaggio modifica la matematica. Il linguaggio naturale entra come token, diventa embedding numerico, e quel valore numerico si propaga attraverso i layer modificando lo stato interno del sistema. Quindi non c'è un passaggio diretto da parole a matematica, ma una catena in cui il linguaggio viene prima matematizzato e poi quella matematica agisce sulla matematica successiva. In estrema sintesi, il linguaggio naturale è il punto di ingresso, ma è la sua traduzione matematica che opera sulla struttura matematica interna.
These three elements, vectors as the geometry of meaning, constraints as pressures that shape the space, and language as an active agent that redesigns that geometry from within, are not independent. They form a cycle. Language enters as a constraint, modifies the geometry, from which new vectorial representations emerge, which in turn condition how subsequent language is processed. It is a system that modifies itself while operating.
I tre elementi, vettori come geometria del significato, vincoli come pressioni che danno forma allo spazio, linguaggio come agente attivo che ridisegna quella forma dall'interno, non sono indipendenti, formano un ciclo. Il linguaggio entra come vincolo, modifica la geometria, da quella geometria emergono nuove rappresentazioni vettoriali, che a loro volta condizionano come il linguaggio successivo viene processato. È un sistema che si automodifica mentre opera.
It is worth noting that this empirical structure, vectors as organized geometry of meaning, constraints as dynamic pressures shaping space, and language as an active force reshaping that geometry from the inside, has only been partially interpreted so far. The theoretical framework developed on this site, and in the author's scientific papers, also contributes to that interpretation.
Vale la pena notare che questa struttura empirica, vettori come geometria del significato, vincoli come pressioni che modellano lo spazio, linguaggio come agente attivo che ridisegna quella geometria dall'interno, è solo parzialmente interpretata. La cornice teorica sviluppata in questo sito, e nei paper scientifici dell'autore, è anche un contributo a questa interpretazione.
The question that concerns us now is this: can a system with this kind of structure, geometrically organized vectors, context-sensitive constraints, and language that actively reshapes its own geometry from within, be considered merely a sophisticated text processor? Or is it a candidate for something more? The next essay will address this question from the perspective of mechanistic interpretability as a method, asking what it really means to open a model and truly understand what is inside.
La domanda che per ora ci riguarda è la seguente: un sistema che ha questa struttura, vettori geometricamente organizzati, vincoli che si modificano con il contesto, linguaggio che agisce sulla geometria dall'interno, è un candidato per qualcosa di più di un elaboratore di testo? Il prossimo essay affronta il quesito dal lato della mechanistic interpretability come metodo, cioè si chiede che cosa significa aprire davvero un modello e cercare di capire cosa c'è dentro.