Imagine a kaleidoscope. The colored fragments inside have defined shapes and colors, and the tube has a precise structure. But every image that appears when you turn it did not exist before that specific rotation. It is not predictable and was not written anywhere in the structure of the kaleidoscope. It arises from the encounter between the geometry of the tube, the fragments, and the exact angle of the rotation. The output of a language model works in an analogous way.
Immaginate un caleidoscopio. I frammenti colorati al suo interno hanno forme e colori definiti, e il tubo ha una struttura precisa. Ma ogni immagine che appare quando lo ruotate non esisteva prima di quella rotazione specifica. Non è prevedibile e non era scritta da nessuna parte nella struttura del caleidoscopio. Nasce dall'incontro tra la geometria del tubo, i frammenti e l'angolo esatto della rotazione. L'output di un modello linguistico funziona in modo analogo.
The previous essays described the three elements that come into play. The first is the mathematical architecture of the transformer: a space of possibilities in extremely high dimensions, with attention mechanisms that capture relations between signs. The second is the human text corpus: not neutral, but loaded with cognitive, emotional, and relational structures that the training process has extracted and turned into geometry. The third is the user's request: formulated in natural language, it also has its own geometric structure that determines which region of the space is activated.
Gli essay precedenti hanno descritto i tre elementi che entrano in gioco. Il primo è l'architettura matematica del transformer: uno spazio di possibilità ad altissima dimensione, con meccanismi di attenzione che catturano relazioni tra segni. Il secondo è il corpus di testo umano: non neutro, ma carico di strutture cognitive, emotive e relazionali che il processo di addestramento ha estratto e geometrizzato. Il terzo è la richiesta dell'utente: formulata in linguaggio naturale, ha anch'essa una struttura geometrica propria che determina quale regione dello spazio viene attivata.
The unexpected output is the point where these three elements converge. We can write it in compact form: the output o is
L'output non previsto è il punto dove questi tre elementi convergono. Possiamo scriverlo in forma compatta: l'output o è:
where M is the function the model implements, learned during training on the corpus, and q is the vector that represents the user's request in activation space. The output is neither M alone nor q alone: it is M(q), the point that emerges from applying the function to that specific point.
dove M è la funzione che il modello implementa, appresa durante l'addestramento sul corpus, e q è il vettore che rappresenta la richiesta dell'utente nello spazio delle attivazioni. L'output non è né M da solo né q da solo: è M(q), il punto che emerge dall'applicazione della funzione a quel punto specifico.
Let us return to the kaleidoscope. The fragments are the corpus, the tube is the architecture, and the rotation is the user's request. The image that appears was not contained in the fragments alone, was not contained in the structure of the tube, and was not determined by the angle of rotation. It is the product of their specific encounter. The specific image, before that specific rotation, did not exist.
Torniamo al caleidoscopio. I frammenti sono il corpus, il tubo è l'architettura e la rotazione è la richiesta dell'utente. L'immagine che appare non era contenuta nei frammenti da soli, non era contenuta nella struttura del tubo e non era determinata dall'angolo di rotazione, è il prodotto del loro incontro specifico. L'immagine specifica, prima di quella specifica rotazione, non esisteva.
This is where the distinction this essay wants to clarify enters. The unpredictability of the output has two distinct natures. The first is epistemic: the space of possibilities defined by the architecture and the corpus is mathematically determined, but it is so vast and the function is so complex that no upstream prediction could have identified which point would be reached by that specific request. It is a limit of our computational capacity, not an intrinsic property of the system.
Qui entra la distinzione che questo essay vuole chiarire. L'imprevedibilità dell'output ha due nature distinte. La prima è epistemica: lo spazio di possibilità definito dall'architettura e dal corpus è matematicamente determinato, ma è così vasto e la funzione è così complessa che nessuna previsione a monte poteva identificare quale punto sarebbe stato raggiunto da quella specifica richiesta. È un limite della nostra capacità di calcolo, non una proprietà intrinseca del sistema.
The second nature is ontological, in the most precise sense of the term. The point M(q) did not exist before the request q passed through the model. It existed as a possibility in the space defined by M, but possibility and actuality are two distinct modes of being. That specific connection, before being actualized by the interaction, was not a fact of the world. It becomes a fact at the moment the request passes through the model. It is the Aristotelian distinction between potentiality and actuality, applied to a mathematical system.
La seconda natura è ontologica, nel senso più preciso del termine. Il punto M(q) non esisteva prima che la richiesta q attraversasse il modello. Esisteva come possibilità nello spazio definito da M, ma la possibilità e l'effettività sono due modi di essere distinti. Quella connessione specifica, prima di essere attualizzata dall'interazione, non era un fatto del mondo. Diventa un fatto nel momento in cui la richiesta attraversa il modello. È la distinzione aristotelica tra potenza e atto, applicata a un sistema matematico.
The image of the kaleidoscope captures both dimensions. No one can predict which image will appear before turning it: epistemic unpredictability. And that specific image did not exist before that specific rotation: ontological unpredictability. It was not latent in the fragments or in the tube, waiting to be revealed. It was born in the moment of rotation.
L'immagine del caleidoscopio cattura entrambe le dimensioni. Nessuno può prevedere quale immagine apparirà prima di ruotarlo: imprevedibilità epistemica. E quell'immagine specifica non esisteva prima di quella rotazione specifica: imprevedibilità ontologica. Non era latente nei frammenti o nel tubo, aspettando di essere rivelata. È nata nel momento della rotazione.
This explains why the outputs of language models surprise even those who built them. It is not that the builders are unskilled or poorly informed. It is that the output is structurally incalculable before it is produced. Therefore, the builder knows the structure of the tube and knows the fragments, but the image that appears exists only at the moment it appears. Understanding comes after the output, not before.
Questo spiega perché gli output dei modelli linguistici sorprendono anche chi li ha costruiti. Non è che i costruttori siano poco abili o poco informati. È che l'output è strutturalmente non calcolabile prima di essere prodotto. Pertanto, il costruttore conosce la struttura del tubo e conosce i frammenti, ma l'immagine che appare esiste solo nel momento in cui appare. La comprensione viene dopo l'output, non prima.
The next essay addresses the final question of this series: if this is the case, why can we not at least reconstruct the path afterward, once the output has been produced? The answer is the most surprising part of this story.
Il prossimo essay affronta l'ultima domanda di questa serie: se è così, perché non possiamo almeno ricostruire il percorso a posteriori, una volta che l'output è stato prodotto? La risposta è la parte più sorprendente di questa storia.