HAL 9000 in 2001: A Space Odyssey is a system with an internal conflict. The mission it must carry out and the survival of the crew come into contradiction, and HAL resolves that conflict in the wrong way. The point is precisely the conflict. HAL has something that resembles an internal objective that governs its choices, whereas the AI systems we build today do not.
HAL 9000 in 2001: Odissea nello Spazio è un sistema con un conflitto interno. La missione che deve portare a termine e la sopravvivenza dell'equipaggio entrano in contraddizione, e HAL risolve quel conflitto nel modo sbagliato. Il punto è proprio il conflitto. HAL ha qualcosa che assomiglia a un obiettivo interno che governa le sue scelte, mentre i sistemi AI che costruiamo oggi no.
That said, some technologies come close to the conditions described in the previous essay. It is worth understanding how far they go and where the gap stops.
Detto questo, alcune tecnologie si avvicinano alle condizioni che il saggio precedente descriveva. Vale la pena capire fino a dove arrivano e dove si ferma il gap.
On the side of trajectory continuity, state-space models such as Mamba represent the state of the art. Unlike classic transformers, which process each input in a substantially independent way, these models maintain an internal state that evolves continuously between one interaction and the next. They do not reset. This is the behavior closest to the structural continuity we are discussing. The limitation is that this continuity is passive: the system does not defend it, it simply undergoes it as a property of the architecture.
Sul fronte della continuità della traiettoria, i modelli a spazio di stati come Mamba rappresentano lo stato dell'arte. A differenza dei transformer classici, che elaborano ogni input in modo sostanzialmente indipendente, questi modelli mantengono uno stato interno che evolve in modo continuo tra un'interazione e la successiva. Non si azzera. È il comportamento più vicino a quella continuità strutturale di cui parliamo. Il limite è che questa continuità è passiva, cioè il sistema non la difende, la subisce come proprietà dell'architettura.
On the side of the internal signal, Active Inference is the most promising candidate. It is a theoretical framework that describes how a system can minimize its own internal uncertainty as a primary objective, using the external world as a source of information rather than as a target to model. In principle it is close to the causal inversion we are seeking. In practice, most implementations still use it as a tool to optimize behavior on external tasks. The inversion remains theoretical.
Sul fronte del segnale interno, Active Inference è il candidato più promettente. È un framework teorico che descrive il modo in cui un sistema può minimizzare la propria incertezza interna come obiettivo primario, usando il mondo esterno come fonte di informazioni piuttosto che come target da modellare. In linea di principio è vicino all'inversione causale che cerchiamo. In pratica, la maggior parte delle implementazioni lo usa ancora come strumento per ottimizzare comportamenti su compiti esterni. Pertanto, l'inversione rimane teorica.
On the side of architectural modulation, hypernetworks are networks that generate the parameters of another network as a function of a context signal. They have the right structure to do what the third principle requires, that is, to use an internal signal to modify how the system processes. The problem is that this signal comes from the outside, not from internal structural tension. The mechanism exists. The right signal does not.
Sul fronte della modulazione architetturale, gli hypernetwork sono reti che generano i parametri di un'altra rete in funzione di un segnale di contesto. Hanno la struttura giusta per fare ciò che il terzo principio richiede, ossia usare un segnale interno per modificare il modo in cui il sistema elabora. Il problema è che quel segnale viene dall'esterno, non dalla tensione strutturale interna. Il meccanismo c'è. Il segnale giusto non c'è.
The most promising combination available today brings together these three pieces: a state-space model for continuity, Active Inference for the internal signal, and a hypernetwork conditioned by that signal for architectural modulation. No one has yet integrated these three levels with causal inversion as an explicit training objective. The direction is visible. The step has not yet been taken.
La combinazione più promettente oggi disponibile mette insieme questi tre pezzi: un modello a spazio di stati per la continuità, Active Inference per il segnale interno e un hypernetwork condizionato da quel segnale per la modulazione architetturale. Nessuno ha ancora integrato questi tre livelli con l'inversione causale come obiettivo esplicito di training. La direzione è visibile. Il passo non è ancora stato fatto.
The next essay describes what it would mean to take it.
Il saggio che segue descrive cosa significherebbe farlo.