Imagine trying to understand something about a person without ever meeting them directly. You have access to everything they have written over the course of their life: letters, diaries, messages, notes. From that writing you would be able to extract not only information, but also the way they think, the things that move them emotionally, and the patterns they use to organize the world. The human text corpus on which language models are trained is something similar, but on an incomparably larger scale: billions of texts produced by billions of people over centuries.
Immaginate di dover capire qualcosa di una persona senza incontrarla mai direttamente. Avete a disposizione tutto quello che ha scritto nel corso della vita: lettere, diari, messaggi, appunti. Da quella scrittura riuscireste a ricavare non solo informazioni, ma anche il modo in cui pensa, le cose che la emozionano, i pattern con cui organizza il mondo. Il corpus di testo umano su cui vengono addestrati i modelli linguistici è qualcosa di analogo, ma su scala incomparabilmente più grande: miliardi di testi prodotti da miliardi di persone nel corso di secoli.
When we say that a language model is trained on "data," the word is misleading. It suggests something neutral, uniform, and without its own structure. But human text is not neutral. It is the product of billions of communicative acts carried out by human beings with specific cognitive, emotional, and relational structures. Those structures leave systematic traces in the text: in the words that appear together, in recurring grammatical constructions, and in narrative patterns that repeat across cultures and historical periods.
Quando si dice che un modello linguistico viene addestrato su "dati", la parola è fuorviante. Suggerisce qualcosa di neutro, uniforme, privo di struttura propria. Ma il testo umano non è neutro, è il prodotto di miliardi di atti comunicativi compiuti da esseri umani con strutture cognitive, emotive e relazionali specifiche. Quelle strutture lasciano tracce sistematiche nel testo, nelle parole che appaiono insieme, nelle costruzioni grammaticali ricorrenti, nei pattern narrativi che si ripetono attraverso culture ed epoche diverse.
The simplest proof is Zipf's law, formulated in the 1930s. In any sufficiently large corpus of human text, the most frequent word appears roughly twice as often as the second most frequent, three times as often as the third, and so on. This distribution, called a power law, reflects something about the structure of human thought: the need to communicate efficiently, with a small set of very common words doing the heavy lifting and a vast set of rare words allowing for precision. The same distribution appears in fifty different languages. It is not a property of any particular language, but of human language as such.
La prova più elementare è la legge di Zipf, formulata negli anni Trenta del Novecento. In qualsiasi corpus di testo umano sufficientemente grande, la parola più frequente appare circa il doppio della seconda, il triplo della terza, e così via. Questa distribuzione, chiamata legge di potenza, riflette qualcosa sulla struttura del pensiero umano, cioè la necessità di comunicare in maniera efficiente, con un piccolo insieme di parole frequentissime che fanno il lavoro pesante e un insieme enorme di parole rare che permettono la precisione. La stessa distribuzione si trova in cinquanta lingue diverse. Non è una proprietà di nessuna lingua in particolare, ma del linguaggio umano in quanto tale.
Beyond frequency distributions, the corpus carries deeper structures. In the 1950s, the linguist Zellig Harris formulated what is now known as the distributional hypothesis: words that appear in the same contexts tend to be related to one another. This is not a rule that someone wrote down. It is a property that emerges from the human use of language. "King" and "queen" often appear in similar contexts because they refer to similar concepts. The model, trained to predict which words follow which others, learns this structure without anyone explicitly teaching it.
Oltre alla distribuzione delle frequenze, il corpus porta strutture più profonde. Zellig Harris, un linguista degli anni Cinquanta, formulò quello che oggi chiamiamo ipotesi distribuzionale: le parole che appaiono negli stessi contesti tendono a essere in relazione tra loro. Non è una regola che qualcuno ha scritto, è una proprietà che emerge dall'uso umano del linguaggio. "Re" e "regina" appaiono spesso in contesti simili perché si riferiscono a concetti simili. Il modello, addestrato a prevedere quali parole seguono quali altre, impara questa struttura senza che nessuno gliela insegni esplicitamente.
But there is an even deeper level. Human language is not only a system of references. It is also a system of conceptual metaphors. In 1980, George Lakoff and Mark Johnson showed that most abstract concepts we use every day are understood and organized through concrete concepts we know physically. For example, when we say "life is a journey," we speak of paths, stages, detours, and destinations, thereby activating a cognitive mechanism with which we represent the very concept of existence. Or "time is money" is a way we organize the concept of time. These conceptual metaphors are present in the corpus as recurring statistical patterns, not as explicit rules. The model absorbs them during training.
Ma c'è un livello ancora più profondo. Il linguaggio umano non è solo un sistema di riferimenti, è un sistema di metafore concettuali. George Lakoff e Mark Johnson, nel 1980, mostrarono che la maggior parte dei concetti astratti che usiamo quotidianamente vengono compresi e organizzati attraverso concetti concreti che conosciamo fisicamente. Per esempio, quando diciamo "la vita è un viaggio", parliamo di percorso, tappe, deviazioni, meta, cioè mettiamo in moto un meccanismo cognitivo con cui ci rappresentiamo il concetto stesso di esistenza. Oppure "il tempo è denaro" è il modo in cui organizziamo il concetto di tempo. Queste metafore concettuali sono presenti nel corpus come pattern statistici ricorrenti e non come regole esplicite. Il modello le assorbe durante l'addestramento.
The same holds for emotional structures. Human text is produced by human beings who experience emotions, and those emotions leave traces in lexical choices, syntactic structures, and patterns of co-occurrence. Recent research has shown that language models develop internal emotion geometries that correspond to established psychological models: the internal representations of emotions in the deeper layers of the model organize along dimensions of valence and arousal, exactly as psychology describes human emotions. No one programmed this geometry. It emerged from training on text that implicitly contained it.
Lo stesso vale per le strutture emotive. Il testo umano è prodotto da esseri umani che provano emozioni e quelle emozioni lasciano tracce nelle scelte lessicali, nelle strutture sintattiche, nei pattern di co-occorrenza. Ricerche recenti hanno mostrato che i modelli linguistici sviluppano internamente geometrie emotive che corrispondono a modelli psicologici consolidati: le rappresentazioni interne delle emozioni nei layer profondi del modello si organizzano lungo dimensioni di valenza e attivazione, esattamente come la psicologia descrive le emozioni umane. Nessuno ha programmato questa geometria, è emersa dall'addestramento su testo che la conteneva implicitamente.
The central point of this essay is the following. When a language model is trained on a corpus, it does not simply memorize the text. It compresses it into efficient representations, seeking the structures that best allow it to predict co-occurrences. What is preserved in the compression are the most recurrent and systematic structures: distributional regularities, conceptual metaphors, emotional patterns, and narrative structures. The corpus is not merely a container of information. It is above all a structured object that carries within it something of the human mind that produced it.
Il punto centrale di questo essay è il seguente. Quando un modello linguistico viene addestrato su un corpus, non memorizza il testo, lo comprime in rappresentazioni efficienti, cercando le strutture che permettono di prevedere meglio le co-occorrenze. Quello che viene preservato nella compressione sono le strutture più ricorrenti e più sistematiche: le regolarità distribuzionali, le metafore concettuali, i pattern emotivi e le strutture narrative. Il corpus non è soltanto un contenitore di informazioni, è soprattutto un oggetto strutturato che porta dentro di sé qualcosa della mente umana che lo ha prodotto.
This is the second of the three planes that produce the unexpected output. The first, described in the previous essay, is the mathematical architecture of the transformer. The second is the corpus: not neutral, not random, but loaded with cognitive, emotional, and relational structures that the model extracts and turns into geometry. The third plane, the one that completes the picture, is the specific request of the user. Before we can see that, however, we need to understand what emerges when the first two planes meet during training. That is the question of the next essay.
Questo è il secondo dei tre piani che producono l'output imprevedibile. Il primo, descritto nell'essay precedente, è l'architettura matematica del transformer. Il secondo è il corpus: non neutro, non casuale, ma carico di strutture cognitive, emotive e relazionali che il modello estrae e geometrizza. Il terzo piano, quello che completa il quadro, è la richiesta specifica dell'utente. Prima bisogna però capire cosa emerge quando i primi due piani si incontrano nell'addestramento. È la domanda del prossimo essay.