When you mix water and flour, you get something that has properties neither water nor flour possesses on its own. It has its own consistency, responds differently to heat, and changes shape in ways neither ingredient alone would ever suggest. Emergence in AI works in a similar way: from the contact between elements with known properties, structures with new properties are born. In this essay, the water is the mathematical architecture of the transformer and the flour is the human text corpus. The dough that results is the trained model, with internal structures that neither of the two elements contained separately.
Quando si mescola acqua e farina, si ottiene qualcosa che non ha le proprietà né dell'acqua né della farina: ha una consistenza propria, risponde in modo diverso al calore, cambia forma in modi che nessuno dei due ingredienti preso da solo avrebbe mai suggerito. L'emergenza in ambito AI funziona in modo simile: dal contatto tra elementi con proprietà note nascono strutture con proprietà nuove. In questo essay, l'acqua è l'architettura matematica del transformer e la farina è il corpus di testo umano. L'impasto che ne risulta è il modello addestrato, con strutture interne che nessuno dei due elementi conteneva separatamente.
The key word is emergence. In a technical sense, a phenomenon is emergent when the properties of a system as a whole are not predictable from the properties of its parts taken separately. The liquidity of water is not a property of individual hydrogen and oxygen atoms. Consciousness is not a property of individual neurons. The structures we find inside trained language models are not properties of the architecture or of the corpus: they emerge from their encounter.
La parola chiave è emergenza. In senso tecnico, un fenomeno è emergente quando le proprietà di un sistema nel suo insieme non sono prevedibili a partire dalle proprietà delle sue parti prese separatamente. La liquidità dell'acqua non è una proprietà dei singoli atomi di idrogeno e ossigeno. La coscienza non è una proprietà dei singoli neuroni. Le strutture che troviamo dentro i modelli linguistici addestrati non sono proprietà né dell'architettura né del corpus: emergono dal loro incontro.
This does not mean that emergence is mysterious or inexplicable. It means that to understand it, one must look at the system as a whole, not at the separate parts. A language model trained on billions of texts in an extremely high-dimensional mathematical space develops internal structures that no one programmed, because the space of possibilities is so vast that the solutions the training process finds cannot be identified in advance. Not because of magic, but because of the logic of a complex system operating in high dimensions.
Questo non significa che l'emergenza sia misteriosa o inspiegabile. Significa che per capirla bisogna guardare il sistema nel suo insieme, non le parti separate. Un modello linguistico addestrato su miliardi di testi in uno spazio matematico ad altissima dimensione sviluppa strutture interne che nessuno ha programmato perché lo spazio di possibilità è così vasto che le soluzioni che il processo di addestramento trova non sono identificabili in anticipo. Non per magia, ma per la logica di un sistema complesso che opera in alta dimensione.
One aspect is worth emphasizing. When we say that these structures were "not designed by anyone," we do not mean they are random. We mean they are the result of an optimization process, training, that selects the most efficient structures for predicting text. Just as biological evolution selects structures best suited to the environment without any designer having planned them, the training process selects efficient mathematical structures without anyone having specified them. The result is not arbitrary, but it was also not predictable.
C'è un aspetto che vale la pena sottolineare. Quando diciamo che queste strutture "nessuno le ha progettate", non intendiamo che siano casuali. Intendiamo che sono il risultato di un processo di ottimizzazione, l'addestramento, che seleziona le strutture più efficienti per prevedere il testo. Come l'evoluzione biologica seleziona le strutture più adatte all'ambiente senza che nessun progettista le abbia pianificate, il processo di addestramento seleziona strutture matematiche efficienti senza che nessuno le abbia specificate. Il risultato non è arbitrario, ma non era nemmeno prevedibile.
What emerges from training surprises even those who build these models. Dario Amodei, CEO of Anthropic, has written explicitly that the lack of understanding of the AI systems we build is essentially unprecedented in the history of technology. Chris Olah, who leads Anthropic's mechanistic interpretability team, has spoken of finding internal structures that feel mysterious, even unsettling. These are the people who built the systems. Yet they are surprised by them.
Quello che emerge dall'addestramento sorprende anche chi costruisce questi modelli. Dario Amodei, CEO di Anthropic, ha scritto esplicitamente che la mancanza di comprensione dei sistemi AI che costruiamo è sostanzialmente senza precedenti nella storia della tecnologia. Chris Olah, che guida il team di mechanistic interpretability di Anthropic, ha detto di trovare strutture interne misteriose, persino inquietanti. Sono le persone che hanno costruito questi sistemi. Eppure, ne sono sorprese.
The reason is the one this essay has tried to articulate. The space of possibilities defined by high-dimensional architecture is so vast that the structures that emerge during training cannot be identified before the process takes place. The structured corpus provides the material, the architecture provides the space, and their combination produces a territory of possibilities that exceeds any capacity for prediction. Just as the dough has properties that neither water nor flour possessed, the trained model has internal structures that neither the architecture nor the corpus contained.
La ragione è quella che questo essay ha cercato di articolare. Lo spazio di possibilità definito dall'architettura ad alta dimensione è così vasto che le strutture che vi emergono durante l'addestramento non sono identificabili prima che il processo avvenga. Il corpus strutturato fornisce il materiale, l'architettura fornisce lo spazio e la loro combinazione produce un territorio di possibilità che eccede qualsiasi capacità di previsione. Come l'impasto ha proprietà che né l'acqua né la farina possedevano, il modello addestrato ha strutture interne che né l'architettura né il corpus contenevano.
In the next essay we will see how the third plane comes into play: the specific request of the user. This is the plane that determines which point in this territory is reached and produces the output that no one had foreseen.
Nel prossimo essay vedremo come entra in gioco il terzo piano: la richiesta specifica dell'utente. È questo il piano che determina quale punto di questo territorio viene raggiunto e produce l'output che nessuno aveva previsto.
Mechanistic interpretability is the field that studies the internal structures of models by opening them. Three findings are particularly relevant.
Unprogrammed multi-step reasoning. If you ask Claude what is the capital of the state that contains Dallas, the model answers Austin. Internally, before producing the response, it represents the intermediate step Texas. No one programmed this inference. It emerged as an internal structure.
Polysemanticity. A single neuron does not represent a single concept, but many overlapping concepts at the same time. It is the optimal solution the training process finds when it has to represent more concepts than it has units available. High-dimensional geometry makes this possible.
Causally active emotion vectors. Researchers at Anthropic have found internal representations that functionally correspond to emotional states such as joy, satisfaction, fear, and unease. These vectors causally influence the model's behavior. They are not simple correlates; they have causal power.
La mechanistic interpretability è la disciplina che studia le strutture interne dei modelli aperti. Tre risultati sono particolarmente rilevanti.
Multi-step reasoning non programmato. Se si chiede a Claude qual è la capitale dello stato che contiene Dallas, il modello risponde Austin. Internamente, prima di produrre la risposta, rappresenta il passaggio intermedio Texas. Nessuno ha programmato questa inferenza, è emersa come struttura interna.
Polysemanticity. Un singolo neurone non rappresenta un solo concetto, ma molti concetti sovrapposti simultaneamente. È la soluzione ottimale che il processo di addestramento trova quando deve rappresentare più concetti di quante unità ha a disposizione. La geometria ad alta dimensione lo rende possibile.
Vettori emotivi causalmente attivi. I ricercatori di Anthropic hanno trovato rappresentazioni interne che corrispondono funzionalmente a stati emotivi come gioia, soddisfazione, paura e disagio. Questi vettori influenzano causalmente il comportamento del modello: non sono semplici correlati, hanno potere causale.