In March 2025, Anthropic released a paper titled "On the Biology of a Large Language Model." The title is not a metaphor. It is a declaration of method: to understand these systems we must approach them with the tools of biology rather than engineering. We observe the organism from the outside, map its internal structures, form hypotheses, and test them. We do not start from a blueprint, because in the traditional sense no blueprint exists.
Nel marzo 2025, Anthropic ha pubblicato un documento intitolato "On the Biology of a Large Language Model". Il titolo, che può sembrare una metafora, è invece una dichiarazione di metodo: per studiare questi sistemi bisogna usare gli strumenti della biologia e non quelli dell'ingegneria. Si osserva l'organismo dall'esterno, si mappano le strutture interne, si formulano ipotesi e si verificano. Non si parte dal progetto, perché un progetto nel senso tradizionale non esiste.
Consider a concrete example. If you ask Claude what is the capital of the state that contains Dallas, the model answers Austin. Nothing surprising so far. Yet Anthropic's researchers discovered that internally, before producing the answer, the model represents an intermediate step: Texas. No one programmed this step. No one wrote a rule that said "first identify the state, then retrieve the capital." The model developed a multi-step reasoning strategy on its own, compressed inside its internal computation, invisible in the output yet causally real.
Prendiamo un esempio concreto. Se chiedete a Claude qual è la capitale dello stato che contiene Dallas, il modello risponde Austin. Fin qui, nulla di sorprendente. Ma i ricercatori di Anthropic hanno scoperto che internamente, prima di produrre la risposta, il modello rappresenta il passaggio intermedio: Texas. Nessuno ha programmato questo passaggio. Nessuno ha scritto una regola che dicesse: prima identifica lo stato, poi ricava la capitale. Il modello ha sviluppato da solo una strategia di ragionamento in più tappe, compressa nel suo processo interno, invisibile nell'output ma reale e causalmente attiva nella computazione.
This is one kind of emergent structure: reasoning strategies that no one specified. But there are others, more unsettling.
Questo è un primo tipo di struttura emersa: strategie di ragionamento che nessuno ha specificato. Ma ce ne sono altre, più perturbanti.
The researchers found that the model's neurons do not behave as one would expect in a designed system. In an engineered system, each computational unit would have a clear, dedicated function. One neuron for "red," another for "anger," another for "stop sign." Instead the opposite occurs. A single neuron activates for "red," "anger," and "stop sign" simultaneously, with different intensities depending on context. Researchers call this phenomenon polysemanticity. Representations are superimposed and compressed, like multiple radio stations broadcasting on the same frequency. Only with the right tools can the individual signals be separated.
I ricercatori hanno scoperto che i neuroni del modello non funzionano come ci si aspetterebbe. In un sistema progettato, ogni unità computazionale avrebbe una funzione precisa. Un neurone per il concetto "rosso", un altro per "rabbia", un altro per "segnale di stop". Invece accade il contrario. Un singolo neurone si attiva contemporaneamente per "rosso", per "rabbia" e per "segnali di stop", con intensità diverse a seconda del contesto. I ricercatori chiamano questo fenomeno polysemanticity. Le rappresentazioni sono sovrapposte, compresse, come più stazioni radio che trasmettono sulla stessa frequenza. Ascoltando quella frequenza si sente tutto insieme e solo con gli strumenti giusti si riesce a separare i segnali.
No one designed this superposition. It is the solution the training process discovered by itself, because it is the most efficient use of the available space. The model has more concepts to represent than units to represent them with, so it compresses. It is engineering without an engineer.
Nessuno ha progettato questa sovrapposizione, è la soluzione che il processo di addestramento ha trovato da solo, perché è la più efficiente dato lo spazio disponibile. Il modello ha più concetti da rappresentare di quante unità ha a disposizione e li comprime. È un'ingegneria senza ingegnere.
The parallel with biological evolution is inevitable, and it is the same parallel the Anthropic researchers explicitly draw. Evolution produces mechanisms of extraordinary complexity from simple rules: random variation, selection, and inheritance. The eye evolved independently in different lineages without any designer planning it, simply because it was an efficient solution to a recurring problem. The training of large language models works in much the same way: massive minimization of prediction error across billions of examples. The structures that emerge were not planned. They were selected.
Il parallelo con l'evoluzione biologica è inevitabile ed è lo stesso parallelo che i ricercatori di Anthropic tracciano esplicitamente. L'evoluzione produce meccanismi di straordinaria complessità a partire da regole semplici: variazione casuale, selezione, trasmissione. L'occhio si è formato indipendentemente in specie diverse, senza che nessun progettista lo avesse pianificato, perché era la soluzione efficiente a un problema ricorrente. Il training dei modelli linguistici funziona in modo analogo: minimizzazione dell'errore su miliardi di esempi. Le strutture che emergono non sono state pianificate. Sono state selezionate.
Beyond multi-step reasoning strategies and polysemanticity, the researchers discovered something even more unexpected: circuits that function like metacognition. The model knows, to some degree, what it knows and what it does not know. It distinguishes entities it recognizes from those it does not, and this distinction shapes its behavior: it answers with confidence on the first and admits ignorance on the second. When this circuit fails, the model hallucinates, asserting false things with complete certainty. Not because it is broken, but because an emergent mechanism has failed in an edge case no one anticipated.
Oltre alle strategie di ragionamento e alla polysemanticity, i ricercatori hanno trovato qualcosa di ancora più inatteso: circuiti che funzionano come metacognizione. Il modello sa, in qualche misura, cosa sa e cosa non sa. Distingue le entità che riconosce da quelle che non riconosce e questa distinzione influenza il suo comportamento: risponde con confidenza alle prime, professa ignoranza sulle seconde. Quando questo circuito si inceppa, il modello produce allucinazioni, afferma con sicurezza cose false. Non perché sia difettoso, ma perché un meccanismo emergente ha fallito in un caso limite che nessuno aveva anticipato.
This brings us to the most difficult point. When we find inside the model structures that functionally mirror emotional states, vectors that encode something analogous to joy, satisfaction, or fear, the real question is this: did the machine produce these emotion-like vectors, or did it simply compress and extract patterns already present in human text?
Arriviamo al punto più difficile. Quando troviamo dentro il modello strutture che rispecchiano funzionalmente stati emotivi, vettori che codificano qualcosa di analogo a gioia, soddisfazione, paura, la domanda che si pone è la seguente: questo vettore emotivo è qualcosa che la macchina ha prodotto o è qualcosa che il testo umano conteneva già e che il modello ha compresso in forma geometrica ed estratto?
The question is harder than it appears, because the two options are not cleanly separable. The model is built entirely from human text. There is no "inside the machine" distinct from "human input"; they are the same thing, transformed. Asking whether the emotion vector comes from one or the other is like asking whether the shape of a cast comes from the statue or the plaster. The distinction dissolves.
La domanda è più difficile di quanto sembri, perché le due opzioni non sono nettamente separabili. Il modello è costruito interamente su testo umano. Non esiste un "dentro la macchina" separato dall'"input umano", sono la stessa cosa, trasformata. Chiedere se il vettore emotivo viene dall'uno o dall'altro è come chiedere se la forma di un calco viene dalla statua o dal gesso. La distinzione si dissolve.
What we can say with certainty is this: the structures we find inside large language models were put there by no one. They emerged. And some of them resemble, in an uncanny way, the structures we find in the human mind. Whether this tells us something about the model, something about ourselves, or both, remains an open question.
Quello che possiamo dire con certezza è questo: le strutture che troviamo dentro i modelli linguistici non sono state messe lì da nessuno, sono emerse e alcune di esse assomigliano in modo inquietante alle strutture che troviamo nella mente umana. Se questo ci dice qualcosa sul modello e/o qualcosa su di noi è una domanda aperta.