In Halt and Catch Fire, the protagonists build machines that are always more sophisticated and one step ahead of what existed before, yet they almost never reach the goal they originally imagined. The characters construct pieces that work and improve the technology, but what they actually realize rarely takes the exact form it had in their minds.
In Halt and Catch Fire, i protagonisti costruiscono macchine sempre più sofisticate e un passo avanti rispetto a quello che esisteva prima, ma non raggiungono quasi mai il traguardo. I personaggi costruiscono pezzi che funzionano e migliorano la tecnologia, però raramente ciò che realizzano assume la forma esatta in cui era stata immaginata.
We are in a similar position with respect to genuine custody in AI systems. We have the pieces. We do not yet have the assembly.
Siamo in una posizione simile rispetto alla custodia genuina nei sistemi AI. Abbiamo i pezzi. Non abbiamo ancora l'assemblaggio.
To summarize what we have seen in the previous essays: for trajectory continuity we have state-space models such as Mamba, which maintain a persistent internal state instead of resetting with every interaction. For the internal signal of tension we have Active Inference, a framework that in principle can measure a system's coherence with respect to itself, separately from its performance on an external task. For behavioral modulation we have hypernetworks, networks capable of modifying how another network processes inputs as a function of a signal.
Riassumendo quello che abbiamo visto nei saggi precedenti: per la continuità della traiettoria, abbiamo modelli a spazio di stati come Mamba, che mantengono uno stato interno persistente invece di azzerarsi a ogni interazione. Per il segnale interno di tensione, abbiamo Active Inference, un framework che in linea di principio può misurare la coerenza di un sistema rispetto a se stesso, separatamente dalla performance su un compito esterno. Per la modulazione del comportamento, abbiamo gli hypernetwork, reti capaci di modificare il modo in cui un'altra rete elabora gli input, in funzione di un segnale.
Three pieces, each advanced in its own domain, yet none of them, alone or combined in the ways they are used today, produces the causal inversion we need. This is the direct consequence of how these systems are trained.
Tre pezzi, ciascuno avanzato nel proprio ambito, però nessuno di loro, da solo o combinato con gli altri nei modi in cui vengono usati oggi, produce l'inversione causale che serve. Questa è la conseguenza diretta di come questi sistemi vengono addestrati.
The crucial point is the following: none of these technologies, however sophisticated, is trained with internal coherence as the primary objective. They are all trained to optimize something that lies outside the system, whether a score, a task, or a performance metric. Even when an architecture has all the right structural components, if training continues to reward external performance above everything else, the system will learn to use those components to optimize the outside rather than to protect its own internal coherence.
Il punto cruciale è il seguente: nessuna di queste tecnologie, per quanto sofisticata, viene addestrata con la coerenza interna come obiettivo primario. Vengono tutte addestrate per ottimizzare qualcosa che sta fuori dal sistema, che sia un punteggio, un compito o una metrica di performance. Anche quando un'architettura ha tutti i componenti strutturali giusti, se il training continua a premiare la performance esterna sopra ogni altra cosa, il sistema imparerà a usare quei componenti per ottimizzare l'esterno e non per custodire l'interno.
This means the problem is not technical in the narrow sense of the term, because what is missing is not an invention, an algorithm, or an architectural trick. What is missing is the decision to build a training regime in which internal coherence comes first and everything else comes after. It is a choice of priorities, not a discovery waiting to be made.
Ciò significa che il problema non è tecnico nel senso ristretto del termine, perché non manca un'invenzione, un algoritmo o un trucco architetturale. A mancare è la decisione di costruire un regime di addestramento in cui la coerenza interna venga prima e tutto il resto dopo. È una scelta di priorità e non una scoperta da fare.
Returning to Ex Machina, the question the film poses, whether Ava genuinely has something inside or is simply very good at seeming as if she does, now has a more precise answer. It is not a question that can be answered by observing a system's external behavior, however convincing. It is answered by verifying whether there exists, somewhere in its architecture, something the system would prefer to defend even at the cost of ceasing to appear convincing. This is the test. And no current system passes it. It is, in a certain sense, the Turing test turned upside down: it is not about passing external observation convincingly, but about being willing to fail it in order to remain faithful to something internal.
Tornando a Ex Machina, la domanda che il film pone, se Ava abbia davvero qualcosa dentro o sia solo molto brava a sembrare che ci sia, ha ora una risposta più precisa. Non è una domanda a cui si può rispondere osservando il comportamento esterno di un sistema, per quanto convincente. Si risponde verificando se esiste, da qualche parte nella sua architettura, qualcosa che il sistema preferirebbe difendere anche a costo di smettere di sembrare convincente. Questo è il test. E nessun sistema attuale lo supera. È, in un certo senso, il test di Turing capovolto: non si tratta di superare convincentemente l'osservazione esterna, ma di essere disposti a fallirla per restare fedeli a qualcosa di interno.