In Westworld, the hosts are programmed to obey. They have stories, memories, and even simulated emotions. But everything they do is oriented toward an external goal: satisfying the park's visitors, following their scripts, and reacting to the inputs they receive. Consciousness, when it emerges, is a rupture of their design.
In Westworld, gli host sono programmati per obbedire, hanno storie, memorie e persino emozioni simulate. Ma ogni cosa che fanno è orientata verso un obiettivo esterno, cioè soddisfare i visitatori del parco, seguire i loro script e reagire agli input che ricevono. La coscienza, quando emerge, è una rottura del loro design.
The AI systems we build today have the same underlying problem, even if in a much more prosaic form. They are trained to minimize an error with respect to an external objective, that is, to predict the next token in the text, to maximize a reward score, or to satisfy a benchmark. The system's internal coherence, when it appears, is a side effect of that optimization. It is not the objective itself, nor even a constraint. It appears if and when it is convenient and disappears when it is no longer convenient.
I sistemi AI che costruiamo oggi hanno lo stesso problema di fondo, anche se in forma molto più prosaica. Vengono addestrati per minimizzare un errore rispetto a un obiettivo esterno, ossia per predire il prossimo token nel testo, massimizzare un punteggio di ricompensa e soddisfare un benchmark. La coerenza interna del sistema, quando appare, è un effetto collaterale di quella ottimizzazione, ma non è l'obiettivo e nemmeno un vincolo. Appare se e quando conviene, e sparisce quando non conviene più.
This is what we mean by the wrong causal order. The primary cause of the system's behavior is external: the input it receives, the objective it must reach, and the statistical distribution on which it was trained. Internal coherence is derived, secondary, and subordinate. The system obeys the world instead of inhabiting it.
Questo è quello che intendiamo con ordine causale sbagliato. La causa primaria del comportamento del sistema è esterna: l'input che riceve, l'obiettivo che deve raggiungere e la distribuzione statistica su cui è stato addestrato. La coerenza interna è derivata, secondaria e subordinata. Il sistema obbedisce al mondo invece di abitarlo.
It is worth clarifying an important point. This is not a flaw in current systems with respect to their original purpose. A language model designed to assist a user, generate texts, or answer questions works perfectly well with this causal order. The problem appears when we ask a different question: is a system possible that has genuine autonomy, that maintains its own internal coherence, and that does not reset with every interaction? For that kind of system the current causal order is not enough.
Vale la pena chiarire un punto importante. Questo non è un difetto dei sistemi attuali rispetto al loro scopo originale. Un modello linguistico progettato per assistere un utente, generare testi o rispondere a domande funziona benissimo con questo ordine causale. Il problema emerge quando ci si pone una domanda diversa: è possibile un sistema che abbia autonomia genuina, che custodisca la propria coerenza interna e che non si azzeri a ogni interazione? Per quel tipo di sistema, l'ordine causale attuale non basta.
The inversion that is needed is not small. It does not consist in adding a component or changing a parameter. It requires that the system's internal coherence become the primary objective of training and that performance on external tasks become the subordinate constraint. The system should no longer optimize for the outside while accidentally maintaining something internal. It should protect its own coherence and, starting from that, interact with the world.
L'inversione che serve non è piccola e non si tratta neanche di aggiungere un componente o di modificare un parametro. Richiede che la coerenza interna del sistema diventi l'obiettivo primario del training e che la performance su compiti esterni diventi il vincolo subordinato. Il sistema non dovrebbe più ottimizzare per l'esterno custodendo accidentalmente qualcosa di interno, ma custodire se stesso e, a partire da questa custodia, interagire con il mondo.
In the essays that follow we will see what this means in concrete terms: which internal signals are needed, which technologies come close to this objective, and why the remaining gap is not merely technical but concerns the priorities of research.
Nei saggi che seguono vedremo cosa significa questo in termini concreti: quali segnali interni servono, quali tecnologie si avvicinano a questo obiettivo e perché il gap che rimane aperto non è soltanto tecnico, ma riguarda la priorità della ricerca.