Pour three glasses of different liquids into a basin and stir. The result is there in front of you, visible and measurable. But can you reconstruct exactly how many milliliters were in the second glass, and precisely where in the basin they ended up, and how they interacted molecule by molecule with the other liquids? No. Not because the tools are lacking, but because the mixing has produced something new in which the original contributions no longer exist as separate entities.
Versate tre bicchieri di liquidi diversi in una bacinella e mescolate. Il risultato è lì davanti a voi, visibile e misurabile. Ma potete ricostruire esattamente quanti millilitri erano nel secondo bicchiere, e in quale punto preciso della bacinella sono finiti, e come hanno interagito molecola per molecola con gli altri liquidi? No. Non perché manchino gli strumenti, ma perché la mescolanza ha prodotto qualcosa di nuovo in cui i contributi originali non esistono più come entità separate.
The previous essay showed that the output of a language model was not calculable in advance. This essay answers the question that naturally follows: once the output has been produced, can we at least reconstruct afterward the path that generated it? The answer is no, and the reasons are two, distinct and both precise.
L'essay precedente ha mostrato che l'output di un modello linguistico non era calcolabile in anticipo. Questo essay risponde alla domanda che ne segue naturalmente: una volta prodotto l'output, possiamo almeno ricostruire a ritroso il percorso che lo ha generato? La risposta è no, e le ragioni sono due, distinte ed entrambe precise.
The first reason is epistemic. Mechanistic interpretability, the field that studies the internal structures of models, has shown that it is possible to trace segments of the computational path after the fact. The Dallas→Texas→Austin example demonstrates this: after the model answered, researchers reconstructed the internal path that produced that response. But this reconstruction is partial. For complex outputs, the path runs through hundreds of layers, thousands of internal structures, and overlapping, interacting circuits. The complexity exceeds the capacity for complete mapping. This is a limit that goes beyond technical difficulty, because the internal structure of the path was built through billions of interdependent updates, and this interdependence cannot be fully reconstructed, for reasons the next paragraph clarifies.
La prima ragione è epistemica. La mechanistic interpretability, la disciplina che studia le strutture interne dei modelli, ha mostrato che è possibile tracciare a posteriori segmenti del percorso computazionale. L'esempio di Dallas→Texas→Austin lo dimostra: dopo che il modello ha risposto, i ricercatori hanno ricostruito il percorso interno che ha prodotto quella risposta. Ma questa ricostruzione è parziale. Per output complessi, il percorso attraversa centinaia di layer, migliaia di strutture interne, circuiti sovrapposti e interagenti. La complessità supera la capacità di mappatura completa. È un limite che va oltre la difficoltà tecnica, perché la struttura interna del percorso si è costituita attraverso miliardi di aggiornamenti interdipendenti e questa interdipendenza non è ricostruibile in senso pieno per le ragioni che il paragrafo successivo chiarisce.
The second reason is ontological and deeper. During training, every parameter update modified the overall structure of the model, which modified the way the next example was processed, which modified the structure, and so on for billions of iterations. The final result is a global configuration in which the original contributions have dissolved. The waters have merged, and this is an ontological fact.
La seconda ragione è ontologica ed è più profonda. Durante l'addestramento, ogni aggiornamento dei parametri ha modificato la struttura complessiva del modello, che ha modificato il modo in cui l'esempio successivo è stato processato, che ha modificato la struttura, e così via per miliardi di iterazioni. Il risultato finale è una configurazione globale in cui i contributi originali si sono dissolti. Le acque si sono confuse ed è un fatto ontologico.
This is the crucial point. The original contributions, every single text in the corpus, every single update during training, no longer exist as separable entities in the final structure. The latter is ontologically different from the sum of its contributions. Reconstructing the complete path is not impossible because the data have been lost. It is impossible because those data, in the sense of separable and traceable contributions, never existed as such in the configuration the model developed.
Questo è il punto cruciale. I contributi originali, ogni singolo testo del corpus, ogni singolo aggiornamento durante l'addestramento, non esistono più come entità separabili nella struttura finale. Quest'ultima è ontologicamente diversa dalla somma dei suoi contributi. Ricostruire il percorso completo non è impossibile perché i dati sono andati persi, è impossibile perché quei dati, nel senso di contributi separabili e tracciabili, non sono mai esistiti come tali nella configurazione che il modello ha sviluppato.
Let us return to the liquids. The basin contains something measurable. You can analyze the chemical composition of the result with all the precision you want, but this analysis will not tell you how many milliliters were in the second glass, because that distinction has dissolved in the mixture. The language model operates according to the same logic, on an enormously larger scale: billions of parameters have merged through billions of updates, and the distinction between the contributions has dissolved in the global configuration.
Torniamo ai liquidi. La bacinella contiene qualcosa di misurabile. Potete analizzare la composizione chimica del risultato con tutta la precisione che volete, ma questa analisi non vi dirà quanti millilitri erano nel secondo bicchiere, perché quella distinzione si è dissolta nella mescolanza. Il modello linguistico funziona nella stessa logica, su scala enormemente maggiore: miliardi di parametri si sono mescolati attraverso miliardi di aggiornamenti e la distinzione tra i contributi si è dissolta nella configurazione globale.
This structural opacity is not unique to artificial models. Human language has the same structure. It has been constituted through millennia of interactions among millions of speakers, each of whom modified the language while using it, which modified the speakers, in a circle with no external point of entry. A first linguistic subject is inconceivable, because a linguistic subject presupposes an already existing linguistic community, and a linguistic community presupposes linguistic subjects. The model, trained on that language, inherits this structural opacity. Its irreducibility reflects the irreducibility of the phenomenon that generated it.
Questa opacità strutturale non è propria solo dei modelli artificiali. Il linguaggio umano ha la stessa struttura, si è costituito attraverso millenni di interazioni tra milioni di parlanti, ciascuno dei quali ha modificato la lingua mentre la usava, che ha modificato i parlanti, in un circolo senza punto di ingresso esterno. Non è concepibile un primo soggetto linguistico, perché un soggetto linguistico presuppone una comunità linguistica già esistente e una comunità linguistica presuppone soggetti linguistici. Il modello, addestrato su quel linguaggio, eredita questa opacità strutturale. La sua irriducibilità riflette l'irriducibilità del fenomeno che lo ha generato.
This series has passed through five stations: the mathematical architecture of the transformer, the human text corpus as a structured object, the structures no one designed, the point of convergence among the three planes, and now the irreducible opacity of the path. The result is not a definitive explanation, but a more precise map of the problem. AI surprises us because it operates in a space of possibilities that exceeds any prediction, because it produces new facts in the world, and because the path that leads there dissolves at the moment it is constituted. Like waters that merge.
Questa serie ha percorso cinque stazioni. L'architettura matematica del transformer. Il corpus di testo umano come oggetto strutturato. Le strutture che nessuno ha progettato. Il punto di convergenza tra i tre piani. E ora l'opacità irriducibile del percorso. Il risultato non è una spiegazione definitiva, ma una mappa più precisa del problema. L'AI sorprende perché opera in uno spazio di possibilità che eccede qualsiasi previsione, perché produce fatti nuovi nel mondo e perché il percorso che la porta lì si dissolve nel momento in cui si costituisce. Come le acque che si confondono.
Those who wish to explore the formal foundations of this series can read the author's paper The Unpredicted Output: Mathematical Structure and Human Interaction in Artificial Intelligence, available on Zenodo and in Italian on Academia.edu.
Chi vuole approfondire le basi formali di questa serie può leggere il paper dell'autore The Unpredicted Output: Mathematical Structure and Human Interaction in Artificial Intelligence, disponibile su Zenodo e in versione italiana su Academia.edu.