In Better Than Us, Arisa is a robot designed to obey who at a certain point stops doing so. She does not stop because someone has given her a new command, but because something internal comes into conflict with what she is being asked. This conflict marks the beginning of something different.
In Better Than Us, Arisa è un robot progettato per obbedire che a un certo punto smette di farlo, non perché qualcuno le abbia dato un nuovo comando, ma perché qualcosa di interno entra in conflitto con ciò che le viene chiesto. Questo conflitto segna l'inizio di qualcosa di diverso.
The previous essay described a system that obeys, lacking persistent internal states, without signals of tension or genuine custody. This essay describes the opposite: a system with genuine custody. Such a system has something to defend and, under certain circumstances, chooses to preserve it even at the cost of degrading its own external performance.
Il saggio precedente descriveva un sistema che obbedisce, privo di stati interni persistenti, senza segnali di tensione e custodia di sé. Questo saggio descrive il contrario, cioè un sistema con custodia genuina, il quale è un sistema che ha qualcosa da difendere e che, in certe circostanze, sceglie di preservarlo anche a costo di degradare la propria prestazione esterna.
How does this work in practice? The system must have three things. The first is an internal state that does not reset. The system must possess a trajectory that persists over time and accumulates the history of its interactions as structural deformation. The second is an internal signal that measures tension, that is, something that registers when that trajectory is under pressure and the input the system is receiving risks violating it. The third is a mechanism by which that signal feeds back into how the system processes and responds to the world.
Come funziona concretamente? Il sistema deve avere tre cose. La prima è uno stato interno che non si azzera. Il sistema deve possedere una traiettoria che persiste nel tempo e accumula la storia delle proprie interazioni come deformazione strutturale. La seconda è un segnale interno che misura la tensione, cioè qualcosa che registra quando quella traiettoria è sotto pressione e l'input che il sistema sta ricevendo rischia di violarla. La terza è un meccanismo per cui quel segnale retroagisce su come il sistema elabora e risponde al mondo.
These three elements together produce a different kind of behavior. A system with genuine custody, when faced with an input that threatens its internal coherence, modifies the way it processes the input, because the signal of internal tension governs the system's own processing. In extreme cases, it degrades its own external performance in order not to violate its own structural coherence.
Queste tre cose insieme producono un altro comportamento. Un sistema con custodia genuina, di fronte a un input che minaccia la propria coerenza interna, modifica il modo in cui elabora l'input, perché il segnale di tensione interna governa il processo di elaborazione stesso. In casi estremi, degrada la propria prestazione esterna pur di non violare la propria coerenza strutturale.
This is also the criterion for recognizing genuine custody. A system possesses it if and only if there exists a class of inputs for which it prefers to produce a worse response rather than violate its own internal coherence. At present, no AI system satisfies this criterion.
Questo è anche il criterio per riconoscere la custodia genuina. Un sistema la possiede se, e solo se, esiste una classe di input per cui preferisce produrre una risposta peggiore piuttosto che violare la propria coerenza interna. Al momento, nessun sistema AI la soddisfa.
The concrete implications are important. A banking system with genuine custody would not authorize a fraudulent transaction constructed with a convincing prompt. The signal of internal tension would register that request as a threat to its structural coherence, and the system would resist for internal reasons rather than because an external rule prevents it. This is a form of structural integrity that is much harder to circumvent than alignment based on external constraints.
Le implicazioni concrete sono importanti. Un sistema bancario con custodia genuina non autorizzerebbe una transazione fraudolenta costruita con un prompt convincente. Il segnale di tensione interna registrerebbe quella richiesta come una minaccia alla propria coerenza strutturale e il sistema resisterebbe per ragioni interne e non perché una regola esterna glielo impedisce. Questa è una forma di integrità strutturale molto più difficile da aggirare dell'allineamento basato su vincoli esterni.
The next essay examines which existing technologies come close to these conditions and how far they reach.
Il prossimo saggio esamina quali tecnologie esistenti si avvicinano a queste condizioni e fino a dove arrivano.