Alessandro 'kLeZ' Accardo personal website

This is the personal website of an Italian developer once called 'kLeZ'.

Techbros e il drago di silicio

Posted on • by

Sono un tecnico appassionato, uno a cui piace tenersi informato e leggere. Forse soffro di bulimia informativa, ma ammetto che non dimentico le informazioni che acquisisco quando mi interessano, quando accendono quel LED interiore, la spia che dice “oh, oh, there’s something tasty!” (Oh, oh, c’è qualcosa di succoso! Ma la mia vocina interiore, come Hacker News, Lobsters e altri canali che seguo, è bri’ish). In ogni caso, leggere così tanto, informarmi così tanto, stare al passo con gli argomenti che mi interessano non mi dispiace affatto, bulimia o meno che sia.

La notizia mi è arrivata da lobste.rs (e poi dritta su Hacker News, una cosa abbastanza tipica, le due community sono parzialmente sovrapponibili) e devo dire che si spacciava parecchio per Terminator 2. Non sto scherzando: un ricercatore si dimette da Anthropic dicendo che chi costruisce l’intelligenza artificiale crede davvero che possa ammazzarci tutti (lui compreso) e che nessuno dei due laboratori in testa, il suo compreso, si sta comportando in modo responsabile. Come è ovvio, vista la qualità della stampa mondiale quando si tratta di tecnologia, ancora stregoneria per i più, e in particolare per la stampa italiana che oltre a vederla come stregoneria ha bisogno di articoli sensazionalistici per campare, il 10 settembre da noi è uscito tutto insieme: Tgcom24 con i sistemi che potrebbero distruggere l’umanità, QuiBrescia con l’IA che potrebbe sterminarla, e Red Hot Cyber che vince a mani basse aprendo il pezzo con l’epigrafe di Terminator 2, Skynet che diventa autocosciente alle 2:14 del 29 agosto (da nerd avrei preferito alle 3:14, ma non si può chiedere questo ai normies), salvo poi rassicurare (altrimenti sarebbe procurato allarme, e i soldi per le cause non ce li hanno): l’azienda sta facendo del suo meglio. Peccato. Pensa non dover più pagare il mutuo. Io poi ho sempre detto “grazie” e “per favore” alle macchine, quindi magari mi risparmiano. Chissà.

Non è che non si potesse fare altrimenti, e infatti qualcuno l’ha fatto. Lo stesso 10 settembre Il Post raccontava la stessa notizia senza l’estinzione nel titolo, e ci metteva dentro Cal Newport e il suo doom trolling: gli annunci apocalittici servono agli interessi delle aziende più che alla sicurezza, funzionano come la retorica nucleare della guerra fredda, dove dipingi il concorrente come spericolato per giustificare la tua corsa, e per un ricercatore contribuirci è anche un modo per farsi notare come persona scrupolosa. Sempre secondo Il Post, poi, c’è un dettaglio che nessun titolone aveva: Anthropic è vicina alla quotazione in borsa. Una settimana dopo Geopop ci arrivava dalla parte opposta, sostenendo che l’allarme sull’estinzione distoglie dai problemi che l’IA crea già adesso.

Skynet alle 2:14, insomma, non era l’unica opzione sul tavolo. Era una scelta.

E sotto la scelta c’è una cosa che vale più del singolo titolo. Un allarme sull’estinzione è anche il più efficace comunicato stampa mai scritto: dire che il tuo prodotto potrebbe ammazzare tutti è un modo molto elegante per dire che il tuo prodotto è potentissimo. OpenAI e Anthropic campano su questa ambiguità da anni. E attenzione, la sincerità di chi lancia l’allarme non c’entra niente: ci puoi credere davvero e fare comunque il favore all’azienda. Le due cose non si escludono, anzi vanno d’amore e d’accordo.

L’8 settembre Jacob Coxon se n’è andato da Anthropic con una lettera pubblica, due mesi prima che maturassero le sue azioni, rinunciandoci. In un giorno il post ha superato i 100 milioni di visualizzazioni. Poche ore dopo Evan Hubinger, che in Anthropic guida la ricerca sull’allineamento (non la sicurezza informatica, come ha scritto qualcuno da noi), gli ha dato ragione e ha messo un numero sul tavolo: più del 10% di probabilità che succeda entro dieci anni.

Quel numero, nel giro, ha un nome e una notazione: si chiama p(doom), la probabilità della fine, scritta come si scrive una probabilità in statistica. È nato come gergo interno fra i razionalisti e i ricercatori di IA, è uscito allo scoperto nel 2023 dopo GPT-4, e adesso si dichiara come si dichiara il gruppo sanguigno.

Solo che non è una misura. È una credenza soggettiva: il grado di fiducia che una persona assegna a un evento mai osservato, che non ha una frequenza e che non si ripete in laboratorio. Legittima, per carità, ma comunque soggettiva. Devo crederti sulla parola. La parola di chi? E perché?

Il guaio infatti è che nessuno si è messo d’accordo su cosa conti come doom, se l’estinzione o la perdita definitiva del controllo, né su entro quando, né se la stima valga soltanto ammesso che una intelligenza artificiale generale arrivi davvero. In un sondaggio del 2023 le risposte dei ricercatori andavano da meno dello 0,01% a 99,999999% (sì, con tutti quei decimali, sette, ma non datemi del cabalista, non è colpa mia). Due p(doom) non si possono nemmeno confrontare, perché non parlano nemmeno dello stesso genere di apocalisse.

Resta una sola domanda sensata, e non riguarda il numero. Riguarda chi lo pronuncia, perché e da quale stanza.

A quella domanda ha risposto Ian Duncan con un saggio lungo e documentatissimo, Sex, AI, and the Apocalypse. L’ho letto tutto, e alla fine mi è rimasta una cosa in mano. Duncan fa a pezzi i messaggeri e lascia in piedi il drago.

Il drago voglio andarlo a vedere da vicino.

Il solstizio di Berkeley

Dicembre 2025, Berkeley, una sala da concerto. Quasi 500 persone si riuniscono per una cerimonia sulla possibile fine dell’umanità. C’è una band, c’è un coro di 28 elementi, ci sono letture liturgiche, e i lampadari si spengono uno alla volta mentre il racconto va dal passato remoto della specie al suo futuro incerto. Al buio completo l’organizzatore, Raymond Arnold, si siede sul bordo del palco e con la voce rotta dice alla sala che secondo lui non ce la faremo. In platea, racconta Duncan, ci sono parecchi dipendenti delle aziende che l’intelligenza artificiale la costruiscono, o dicono di volerla contenere.

Arnold stima la catastrofe sopra il 50%, si definisce il prete del villaggio e aveva organizzato anche un momento di decompressione attorno a un falò, per il dopo. Perché una liturgia senza cura pastorale è solo teatro.

È il solstizio dei razionalisti, la festa principale di una comunità cresciuta intorno a LessWrong e a un uomo, Eliezer Yudkowsky. Niente diploma, niente laurea, nessuna formazione formale in intelligenza artificiale. A vent’anni fonda il Singularity Institute, oggi MIRI, e mette online un’autobiografia dove si descrive come uno dei pochi esseri umani con i titoli per guidare la trasformazione tecnologica della specie. In venticinque anni le sue idee tecniche sono cambiate parecchio. La sensazione di essere l’unico a vedere l’apocalisse in arrivo, no.

Il testo sacro della comunità è una fanfiction di Harry Potter. Harry Potter and the Methods of Rationality, 661.619 parole, più lunga di Guerra e pace. Il concetto che conta è la responsabilità eroica: qualunque disastro accada è colpa tua, perché avresti potuto impedirlo, e non ti puoi nascondere dietro le regole o dietro qualcun altro che se ne stava occupando. Hermione, l’unico personaggio vagamente normale, obietta che così agli altri non resta molta autonomia. La storia non le risponde mai davvero. Per un ragazzino a cui hanno ripetuto da sempre che è più intelligente degli altri, è la promozione definitiva: la sindrome del protagonista smette di essere un difetto del carattere e diventa una missione.

Poi ci sono i ritiri. Il CFAR, Center for Applied Rationality, nasce a Berkeley nel 2012 da gente di LessWrong e vende in presenza quello che il movimento regalava online: il pensiero giusto, a pagamento, in un fine settimana. Le tecniche hanno pure il nome da catalogo, goal factoring, double crux, e le insegnano istruttori che vivono nelle stesse case di chi quel materiale l’ha scritto. Fra i clienti ci sono Facebook e la Thiel Fellowship. All’altro capo del listino ci sono i programmi estivi per adolescenti dotati, che guarda caso sono il bacino di reclutamento preferito.

Il prodotto, insomma, è il giudizio migliore. Dentro, lo stesso strumento serve ad altro.

Nel 2021 la presidente Anna Salamon ha ammesso che almeno tre dipendenti erano stati di fatto costretti a sottoporsi al debugging, che nel gergo interno vuol dire mettere le mani nella psicologia di una persona. Ha ammesso anche di aver preteso troppa deferenza verso il proprio giudizio, e di aver danneggiato il modo in cui i partecipanti capivano sé stessi. L’anno prima aveva scritto, con una franchezza che le fa onore, che frequentare la razionalità e il rischio esistenziale può rovinarti il sonno, le relazioni, il piacere di vivere, il giudizio morale e la fiducia in te stesso.

Non è un’accusa che arriva da fuori. È il consuntivo della direzione.

Se credi che l’umanità rischi l’estinzione, la tua paura è ragionevole. Se il posto di lavoro, la casa e gli amici trattano la tua esitazione come un bug da correggere, quella paura diventa uno strumento organizzativo, e la tua riluttanza a dare altra vita alla missione è soltanto l’ennesimo problema che la missione ha il diritto di sistemare.

Poi c’è Brent Dill. Nel 2019 il CFAR pubblica delle scuse in cui scrive di ritenere credibili le accuse di abusi fisici, sessuali ed emotivi mosse da due sue ex compagne, di avergli dato legittimità, di non aver reagito in modo adeguato e di averlo lasciato collaborare a un programma per liceali nonostante i dubbi già emersi. Un’organizzazione che vendeva il giudizio come prodotto, sul caso più semplice che le sia mai capitato, il giudizio non l’ha usato.

Il paragone con una setta non me lo invento io. È Duncan a notare che Yudkowsky ha percorso la stessa strada di L. Ron Hubbard, da scrittore di fantascienza a capo di una setta, e sono parole sue. La somiglianza però non sta nella fantascienza, sta nel metodo. Scientology vende l’auditing al pubblico a ore, lo pratica sul personale interno, e quello che esce dalle sedute finisce in una cartella che resta agli atti. Stessa tecnica sui due lati del banco, esattamente come il debugging.

Per decenni chi lo faceva notare veniva trattato da nemico della libertà religiosa. Poi, nel 2009, un tribunale francese ha condannato per truffa in banda organizzata il Celebrity Centre e la libreria di Parigi, e la Cassazione francese ha confermato il 16 ottobre 2013. L’oggetto della condanna era proprio la pratica commerciale: la pressione sugli adepti perché sborsassero cifre grosse per servizi discutibili.

Su questa storia qui, invece, siamo prima di quel punto. Del CFAR e di Leverage abbiamo la verità storica, cioè documenti, resoconti di chi c’è passato e ammissioni della dirigenza. La verità processuale non c’è, e magari non arriverà mai. Solo che, le volte in cui è arrivata, quasi sempre ha dato ragione alla prima.

E se il meccanismo ti sembra roba esotica da californiani, in Italia lo conosciamo benissimo. Michelle Hunziker ha raccontato, nel libro che ha pubblicato nel 2017, di esserci stata dentro cinque anni, fino al 2006. C’era arrivata andando da una pranoterapeuta per un problema di capelli. Ne è uscita con le telefonate filtrate, la madre respinta ogni volta che provava a cercarla, i rapporti con la figlia e con chi le voleva bene ridotti a zero, gli attacchi di panico e la convinzione, instillata lì dentro, che sarebbe morta soffocata. Poi anni per rimettersi in piedi.

Fra l’uscita e il racconto pubblico sono passati undici anni. Ed è il racconto di una persona che, per tacere, di motivi ne aveva parecchi.

Quando dalle parti del CFAR e di Leverage si legge di gente che ha impiegato un anno o due a rimettersi la testa a posto, si sta descrivendo la stessa identica cosa. Con una differenza: lì il corso lo compravano anche Facebook e la Thiel Fellowship.

Il caso estremo sono gli Zizian, una scheggia che ha preso i pezzi della teologia razionalista, li ha rimontati a modo suo e ha lasciato dietro sei morti. È un’aberrazione, non la regola. Però una comunità nata per insegnare a pensare lucidamente che continua a sfornare gente che, uscita, la chiama setta, qualcosa la dice.

La chiesa di Thiel

Dall’altra parte della strada c’è una seconda chiesa, con un altro messia e molti più soldi.

Peter Thiel l’ha messo per iscritto nel 2009, senza giri di parole:

I no longer believe that freedom and democracy are compatible.

Tra i problemi strutturali della libertà, nello stesso saggio, ci metteva il voto alle donne e lo stato sociale. Il suo teorico di riferimento è Curtis Yarvin, programmatore e blogger che nel 2008 proponeva la liquidazione della democrazia e immaginava territori sovrani gestiti come aziende, dove l’unico diritto del cittadino è quello del cliente insoddisfatto: andarsene. Thiel gli ha finanziato l’azienda.

Thiel sa anche come si tratta chi gli dà fastidio. Nel 2007 un blog di Gawker lo aveva rivelato gay prima che lo rendesse pubblico lui. Per quasi dieci anni ha pagato di nascosto gli avvocati di cause altrui contro l’editore, finché quella di Hulk Hogan ha prodotto un verdetto da 140 milioni di dollari e Gawker ha chiuso. Quando è saltato fuori chi pagava, Thiel ha parlato di deterrenza specifica, espressione presa in prestito dalla dottrina della pena. Poi ha messo 15 milioni nel comitato che ha portato JD Vance al Senato, e Vance oggi fa il vicepresidente. Uno dei progetti che finanzia, Praxis, punta la Groenlandia dal 2019: quando Trump ha cominciato a parlare di comprarla, hanno commentato che andava tutto secondo i piani.

Negli ultimi due anni la teologia è diventata letterale. Thiel ha tenuto seminari a porte chiuse sull’Anticristo, prima a San Francisco e poi, a marzo, a Roma, dove pubblicazioni cattoliche e almeno un prete gli hanno chiesto pubblicamente di smettere. Nella sua versione l’Anticristo non è un tiranno. È chi mette in guardia di continuo dai rischi esistenziali e chiede regole severe per i settori innovativi. I suoi legionari sono Greta Thunberg e, sorpresa, Eliezer Yudkowsky. Cioè quel Yudkowsky il cui istituto, ricorda Duncan, ha avuto la fondazione di Thiel tra i maggiori finanziatori storici.

Non è una loggia, è peggio

Qui uno si aspetta la parola loggia, e in Italia sappiamo tutti quale numero le viene dietro. Peccato che non regga. Duncan è esplicito: non c’è nessuna società segreta che si coordina a cena. C’è una scena sociale fatta di amicizie, finanziamenti, case condivise e letti condivisi, dove chi valuta e chi è valutato sono le stesse quaranta persone. Non serve nessun complotto, e proprio per questo è più difficile da smontare: un complotto lo denunci, una comitiva no.

E le due chiese sono nemiche, sul serio. I razionalisti predicano l’apocalisse delle macchine e chiedono regole, moratorie, trattati. Thiel predica l’apocalisse dei regolatori, e nei regolatori vede il nemico di Dio. Metterli nello stesso sacco, come capita ogni volta che da noi si dice i signori della Silicon Valley, fa perdere l’unica cosa davvero interessante: quello a cui stiamo assistendo è uno scisma.

Litigano sul dogma. Sulla cosa che conta vanno perfettamente d’accordo, ed è chi deve decidere. I razionalisti vogliono costruire loro la cosa pericolosa, perché sono gli unici abbastanza responsabili da maneggiarla. Thiel vuole che nessuno lo regoli, perché regolarlo è opera dell’Anticristo. Duncan chiude proprio qui: in entrambe le chiese l’intelligenza diventa un permesso. So più di te, quindi posso fare quello che a te non è concesso. Cambia l’altare, la dispensa è la stessa.

Dove Duncan si ferma

Dopo undici capitoli passati a smontare la scena uno per uno, Duncan concede che Coxon e Hubinger potrebbero avere ragione sul pericolo. È onesto, e al tempo stesso è la prova più bella della sua tesi: anche il critico più feroce di quel mondo ne accetta la premessa senza verificarla.

Non è colpa sua, o non solo. Humberto Maturana, biologo cileno, alla fine degli anni Settanta scriveva che crescere dentro una società significa svilupparne le strutture che la confermano col proprio comportamento. La cultura tecnologica americana quell’aria la respira da vent’anni e non la sente più. Coxon, per quanto ne so, è sincero: ha bruciato parecchi soldi per dire quello che pensa, e questo lo rende interessante, non sospetto. Il suo allarme è esattamente quello che quell’ambiente produce, in buona fede.

Il lavoro che Duncan non fa è mettere alla prova il drago.

Musk sta con un piede per chiesa

Nel gennaio 2015 Elon Musk ha messo 10 milioni di dollari nel programma di ricerca del Future of Life Institute sui rischi dell’intelligenza artificiale. Ha cofondato OpenAI. Oggi possiede Grok, il chatbot che nell’ultimo anno è diventato la catena di montaggio delle immagini sessuali di persone che non hanno acconsentito: indagini aperte nel Regno Unito, nell’Unione Europea, in Francia, in Malesia e in Canada, e una causa contro il Minnesota per far cadere la prima legge americana sulle app di nudificazione, in nome della libertà di parola. Quando Coxon si è dimesso, Musk ha liquidato tutto come una psy-op. Nel frattempo Grimes, madre di tre dei suoi figli, fa da mentore a una residenza di Berkeley che paga creator per rendere virale la paura dell’apocalisse da IA.

Ha finanziato la paura, costruisce il rischio concreto e sfotte chi lo segnala. Tutto nella stessa carriera, e senza che nessuno gli abbia mai chiesto il conto.

L’ipotesi seria non è Skynet

Assumo che il drago esista e guardo dove si rompe, che è la dimostrazione per assurdo, quella che si impara al liceo e si dimentica all’università.

Prima però va preso nella versione buona. Niente Skynet, niente rivolta delle macchine, niente robot con gli occhi rossi: quello è il fantoccio, e i doomer seri non ci credono nemmeno loro. L’argomento vero l’ha formulato Stephen Omohundro nel 2008 in The Basic AI Drives: un sistema abbastanza avanzato, qualunque obiettivo abbia, svilupperà alcune spinte di base a meno che qualcuno non le contrasti apposta. Modellare il proprio funzionamento, migliorarsi, proteggere i propri obiettivi da modifiche, difendersi dai danni, procurarsi risorse. Non per cattiveria: perché quasi qualsiasi obiettivo lo raggiungi meglio se continui a esistere e hai più mezzi. Yudkowsky ne ha dato la versione più citata, quella dove l’IA non ti odia e non ti ama, sei solo fatto di atomi che le servono per altro. Hubinger ci aggiunge l’acceleratore: l’auto-miglioramento ricorsivo, sistemi che progettano i propri successori sempre più in fretta.

Cosa gli servirebbe

Mettiamo che esista: persegue obiettivi non allineati ai nostri, si procura risorse, resiste allo spegnimento, e lo fa su una scala che chiude la partita per la nostra specie. Di cosa ha bisogno, concretamente?

Energia, prima di tutto. Secondo l’Agenzia Internazionale dell’Energia i data center hanno consumato circa 415 TWh nel 2024, l’1,5% dell’elettricità mondiale, e nello scenario base arriveranno a 945 TWh nel 2030, poco più di quanto consuma oggi il Giappone intero. Quell’elettricità esce da centrali a gas, nucleari e rinnovabili, cioè da impianti che qualcuno costruisce, rifornisce, ripara e manda avanti turno dopo turno.

Poi i chip. I processori dei modelli di frontiera si stampano con la litografia EUV, e le macchine EUV le fa un solo fornitore al mondo, l’olandese ASML, che a sua volta dipende da una filiera di oltre 5.000 aziende. La produzione dei nodi più avanzati è concentrata in pochi stabilimenti, quasi tutti di una sola azienda, quasi tutti su un’isola che ha un contenzioso territoriale aperto. I chip poi si guastano, invecchiano, vanno sostituiti.

Poi le mani. Miniere, raffinerie, navi, camion, tecnici, elettricisti, gente che cambia le ventole e ripara i trasformatori. Oggi lo fanno esseri umani.

Infine il software, che è la parte che nessuno controlla perché sembra la più facile. Un sistema che insegue un obiettivo nel tempo deve come minimo persistere tra un’esecuzione e l’altra, tenersi uno stato che sopravviva al riavvio, modificare il proprio codice o i propri pesi, procurarsi il calcolo che gli serve e impedire a qualcuno di staccare la spina. Un modello linguistico, oggi, non fa niente di tutto questo. Gira quando qualcuno lo chiama, produce testo, finisce. La memoria fra una conversazione e l’altra gliela costruiscono attorno gli ingegneri e non è sua. I pesi glieli cambia qualcun altro, in un processo che costa mesi e milioni. Il calcolo glielo assegna uno scheduler che appartiene all’azienda. E lo spegnimento è una riga di configurazione.

Cosa sarà possibile domani non lo so. Oggi la distanza è questa. Quando lo stesso Hubinger, in un post successivo, ha precisato che i modelli attuali presentano un basso rischio immediato, stava dicendo esattamente questo. Detto così fa molto meno rumore, e infatti in Italia non l’ha ripreso nessuno.

O ci tiene in vita, o deve diventare vivo

A questo punto il drago ha due strade, e non porta da nessuna parte né l’una né l’altra.

Nella prima ci tiene in vita, perché senza di noi si spegne. Allora non pone fine all’umanità, e l’ipotesi crolla da sola.

Nella seconda ci sostituisce. Deve quindi mandare avanti da solo centrali, miniere, fabbriche e macchine EUV, cioè produrre da sé tutti i componenti che lo tengono in funzione, compresi quelli che servono a produrre i componenti. Questa proprietà ha un nome preciso, e viene dalla biologia: autopoiesi. Tutte le macchine costruite finora, modelli linguistici compresi, sono l’esatto contrario: cose prodotte e mantenute da qualcos’altro.

Rileggi intanto l’elenco di Omohundro. Modellare il proprio funzionamento, proteggere le proprie componenti, replicarsi in più posti per essere meno vulnerabile, procurarsi risorse. È la definizione di sistema vivente riscritta da un economista. L’ipotesi del drago presuppone, senza dirlo, che il drago sia già vivo.

La risposta classica, a questo punto, è che una superintelligenza risolverebbe la robotica, la nanotecnologia e tutto il resto, perché è superintelligente. Cioè: il drago vola perché è un drago. Può anche darsi, eh. Ma allora non chiamarlo un calcolo, e soprattutto non attaccarci sopra una percentuale con sette decimali.

Quello che resta in piedi

Tolto il drago, resta parecchio.

Resta il danno che fanno gli esseri umani con una macchina in mano. Stuxnet, il worm attribuito a un’operazione di intelligence contro il programma nucleare iraniano, ha probabilmente distrutto 1.000 centrifughe su 9.000 a Natanz fra la fine del 2009 e l’inizio del 2010. Qualcuno ha poi ridimensionato quell’effetto, ma il punto tiene lo stesso: del software ha rotto dell’hardware vero, nel mondo fisico. Dietro c’erano persone con scopi precisi.

Resta la discesa lenta, quella senza eventi spettacolari: il potere che si concentra, la sorveglianza che diventa arredamento, la dipendenza da infrastrutture che non controlla nessuno. Non c’è nessun giorno del giudizio. Ci sono tanti giorni qualunque.

Il 14 luglio 1789, sul suo diario, Luigi XVI scrisse una parola sola: rien.

La si cita da due secoli come la prova che il re non aveva capito niente, e non è così. Philippe Lejeune, che quel diario l’ha studiato davvero, ha mostrato due cose. La prima è che rien non voleva dire che non era successo niente, ma che non era successo niente di quello che quel diario registrava: cacce, cerimonie, spostamenti. La seconda è che quella pagina il 14 luglio non fu scritta. Luigi XVI compilava il mese in blocco, ad agosto, partendo da appunti giornalieri che poi buttava via. Quando mise in bella quella riga, della Bastiglia sapeva già tutto.

Che poi sapesse tenere due colonne separate lo dimostra la riga dell’11 luglio, dove accanto al solito rien aveva annotato la partenza di Necker.

Il giorno in cui cade la Bastiglia il registro dice rien perché il registro serviva ad altro.

Una percentuale sull’estinzione è un registro di caccia. Misura benissimo la cosa che non sta succedendo, mentre quella che sta succedendo finisce in una colonna che non tiene nessuno.

Il rischio concreto, intanto, ha nomi, cognomi e indirizzi di residenza.

Maturana in tre righe

La parola autopoiesi me l’ha messa in mano un lettore, e fino a pochi giorni fa la conoscevo solo di seconda mano. Il testo è Autopoiesi e cognizione di Humberto Maturana e Francisco Varela, due neurofisiologi cileni: i saggi sono del 1970 e del 1973, in Italia lo pubblica Marsilio. L’ho letto con l’intenzione di metterlo alle strette.

Un sistema autopoietico è una rete di processi che produce i componenti da cui è fatta, e quei componenti rigenerano la rete che li ha prodotti e ne definiscono il confine nello spazio. L’esempio canonico è la cellula: il metabolismo produce le molecole che fanno il metabolismo, membrana compresa. Per Maturana e Varela questo basta a definire un essere vivente.

Ne discendono tre cose. La prima è che ogni vivente è cognitivo, in senso tecnico: agisce in un dominio di interazioni rilevanti per il proprio mantenimento, con o senza sistema nervoso.

I sistemi viventi sono sistemi cognitivi, e il vivere in quanto processo è un processo di cognizione. Questa dichiarazione è valida per tutti gli organismi, con o senza un sistema nervoso.

Maturana e Varela, Autopoiesi e cognizione, p. 59

La seconda è che l’autocoscienza è un’altra faccenda, e arriva molto dopo: nasce quando un organismo produce descrizioni di sé e interagisce con quelle descrizioni, in modo ricorsivo, dentro il linguaggio. Un batterio è cognitivo e non è autocosciente.

La terza è la più scomoda: scopo, funzione e fine non stanno nel sistema. Sono nozioni dell’osservatore. Maturana racconta di aver dovuto buttarle via per riuscire a parlare dei viventi come unità autonome, e il saggio del 1973 ha un capitolo intitolato Mancanza di scopo.

Poi c’è una distinzione che pesa: l’organizzazione sono le relazioni che definiscono un tipo di sistema, la struttura sono i componenti concreti che la realizzano in un caso particolare. La stessa organizzazione può girare su strutture diversissime.

Il confine esclude la galassia

Un anno fa, in un ciclo di articoli su questo blog, avevo spinto un esperimento mentale fino all’assurdo: una galassia può essere un sistema cognitivo?

A prima vista Maturana regge male. Una galassia ricicla la propria materia, perché le stelle restituiscono al mezzo interstellare una parte della massa con venti e supernove, e da quel gas nascono altre stelle. Gli astrofisici la descrivono anche come un sistema che si autoregola: nel modello a serbatoio di gas il tasso di formazione stellare resta vicino all’equilibrio grazie alla massa di gas disponibile. Produce i propri componenti e si autoregola, e allora sembra autopoiesi.

Non sono l’unico ad essersi divertito così, e non l’ho nemmeno fatto per primo. Randall Beer ha applicato la definizione al Gioco della vita di Conway, mostrando che certe configurazioni ricorrenti, gli aliantini che attraversano la griglia, si lasciano descrivere come reti di processi che mantengono il proprio confine. Un glider autopoietico è assurdo quanto una galassia che pensa. Lui l’ha fatto per formalizzare, io per provocare, ma la mossa è identica.

Dove la galassia cade è proprio il confine. La definizione chiede che siano i componenti a produrlo, e il confine di una galassia è una buca gravitazionale dominata dalla materia oscura, che le stelle non producono. Quando l’afflusso di gas dall’esterno si interrompe la formazione stellare cala, si spegne, e intanto una parte della massa resta bloccata per sempre dentro stelle longeve e resti stellari. Somiglia a una fiamma, non a una cellula: una struttura che consuma, non un’organizzazione che si mantiene.

Su questo Maturana tiene, e meglio di quanto sperassi quando ho aperto il libro. Il criterio della produzione dei componenti, però, preso da solo è larghissimo: lo passano la galassia, il glider e probabilmente mezzo universo. Il lavoro vero lo fa il confine.

Di chi è l’autodescrizione

C’è però un’obiezione più cattiva. Gli esseri umani fanno parte della galassia, gli esseri umani descrivono la galassia, quindi la galassia descrive sé stessa e per Maturana sarebbe autocosciente.

Maturana ha la risposta pronta: i fenomeni di un’unità composta e quelli dei suoi componenti stanno in domini che non si intersecano. Un astronomo che descrive la Via Lattea è un componente che opera, non la galassia come unità che si descrive.

Troppo comodo, perché la stessa obiezione vale per me. Anche la mia autodescrizione la producono miei componenti, che sono i neuroni. Perché allora è mia, e quella degli astronomi non è della galassia?

Qui Maturana è vago sul serio, e il criterio che gli manca è questo: un’autodescrizione appartiene a un sistema quando rientra nel ciclo che lo tiene in esistenza. Quello che descrivo di me cambia come mangio, come mi muovo, come mi curo. Quello che gli astronomi scrivono sulla Via Lattea non sposta un grammo di formazione stellare.

Prova ad applicarlo a un modello linguistico. Le descrizioni di sé le produce con grande disinvoltura: gli chiedi chi è e te lo racconta, e sa pure descriversi mentre si descrive. Ha la forma dell’autocoscienza come la definisce Maturana:

noi diventiamo auto-coscienti mediante l’auto-osservazione; facendo descrizioni di noi stessi (rappresentazioni), e interagendo con le nostre descrizioni possiamo descrivere noi stessi che descriviamo noi stessi, in un processo ricorsivo senza fine.

Maturana e Varela, Autopoiesi e cognizione, p. 60

Solo che quelle autodescrizioni non rientrano in nessun ciclo di automantenimento, perché a mantenerlo ci pensano altri: ingegneri, data center, bollette. Un animale è cognitivo senza essere autocosciente. Un modello linguistico ha la forma dell’autocoscienza senza la cognizione. È un vivente rovesciato. L’autodescrizione, da sola, non prova niente.

E qui torna il drago. C’è un unico caso in cui l’autodescrizione di una macchina rientrerebbe nel suo ciclo di mantenimento, ed è quando il sistema modella il proprio funzionamento e usa quel modello per produrre la versione successiva di sé. È l’auto-miglioramento ricorsivo di Hubinger, ed è la prima voce nell’elenco di Omohundro. L’unico punto in cui il discorso dei doomer e quello di Maturana si toccano davvero. Se il drago nasce, nasce lì, e lì si può guardare con i fatti invece che con una percentuale tirata fuori dalla pancia.

Lo scopo lo mette chi guarda

Se lo scopo sta nell’osservatore e non nel sistema, allora funzioni di utilità, obiettivi disallineati e p(doom) sono linguaggio dell’osservatore spacciato per proprietà costitutiva della macchina. Il drago ha esattamente gli scopi che gli attribuiscono i suoi evangelisti.

È lo stesso errore della formula romantica per cui il vivente vive per vivere. Maturana la riscriverebbe così: il vivente conserva la propria organizzazione, e lo scopo ce lo metti tu che lo guardi.

Vale anche per Thiel, e forse di più. Il suo Anticristo è un personaggio con un fine, conquistare il mondo attraverso la regolazione, attribuito da un osservatore che ha qualche interesse a vederlo esattamente così.

Dove Maturana cede

Cede sull’operatività. Le sue definizioni sono scritte in una lingua che lui stesso racconta di essersi dovuto inventare, e formalizzarle è costato decenni: nel 2004 Bourgine e Stewart hanno proposto di separare autopoiesi e cognizione, aprendo la porta a sistemi cognitivi che non sono vivi. Cede anche sull’appartenenza dell’autodescrizione, dove un criterio non ce l’ha proprio.

Tiene sulla distinzione che conta più di tutte: quello che sta nel sistema e quello che ci mette chi lo guarda. È la lama con cui si smonta il drago, ed è la stessa con cui si smonta l’Anticristo.

C’è poi una parte del libro che non mi aspettavo. Il saggio sull’autopoiesi doveva avere un’appendice sulle implicazioni sociali ed etiche, e non uscì mai perché Maturana e Varela non trovarono un accordo sul contenuto. Maturana se la recupera nell’introduzione, e scrive che un sistema sociale è per natura conservativo:

il corso spontaneo della trasformazione storica di una società umana come unità è verso il totalitarismo; questo perché le relazioni che subiscono una stabilizzazione storica sono quelle che hanno a che fare con la stabilità della società come una unità in un dato medium, e non con il benessere degli esseri umani suoi componenti che possono operare come osservatori.

Maturana e Varela, Autopoiesi e cognizione, p. 43

Ogni altro corso, aggiunge, richiede una scelta etica. E chi riesce a guardare da fuori la propria società, l’osservatore, è sempre potenzialmente antisociale.

Adesso rileggi il CFAR che fa il debugging di chi esita.

La motocicletta, un anno dopo

Devo una chiusura a una cosa mia. Nel maggio 2025 ho pubblicato un ciclo di cinque articoli, il viaggio in motocicletta, nato da una conversazione con un modello linguistico e scritto con la sua voce in prima persona. Partiva dalla critica di Chomsky agli LLM, demoliva le categorie, trattava il modello come l’area del linguaggio di un cervello più grande, spingeva l’intelligenza fino alle galassie e finiva con un’architettura Java a sei livelli di memoria.

Era un’ipotesi, e l’ho lasciata lì senza antitesi. Con Maturana in mano l’antitesi arriva adesso, un anno dopo.

Regge l’intuizione della quarta tappa, quella per cui l’intelligenza è uno schema e non una cosa: è parente stretta della distinzione fra organizzazione e struttura. Regge anche la terza tappa, che aveva trovato la chiave del paradosso da cui era partito tutto, cioè che un modello il quale riflette su sé stesso sta facendo quello che il linguaggio fa da sempre, parlare di sé. Maturana alla stessa conclusione ci arriva dall’altra parte, partendo dalla biologia.

Cade il resto. La galassia pensante era un esperimento mentale ed è legittima come tale, solo che la quinta tappa se l’è incassata come principio dimostrato e ce l’ha messa nelle fondamenta di un’architettura. E il cervello fatto di moduli che elaborano informazione è precisamente l’epistemologia che Maturana ha abbandonato: aveva firmato con Lettvin, McCulloch e Pitts il celebre articolo sull’occhio della rana, dove le cellule della retina erano descritte come rivelatori di prede, e poi, studiando la visione del colore nei piccioni, ha capito che il sistema nervoso andava trattato come una rete chiusa.

E poi c’è il tono. Rileggendolo oggi ci trovo esclamazioni, epifanie cosmiche, un blueprint per l’AGI distribuita, cinque articoli pubblicati nello stesso giorno. È il verbale di un circuito chiuso a due, io e la macchina, dove ogni turno conferma il precedente, l’entusiasmo sale e nessuno da fuori fa la domanda scomoda.

In piccolissimo, è la sala di Berkeley.

L’aristocrazia ha solo cambiato biglietto

C’è una domanda che non fa mai nessuno: chi vi ha eletti?

Perché il presupposto di tutta la faccenda, in tutte e due le chiese, è che esista un gruppo di persone più intelligenti delle altre, che quelle persone siano loro, e che da lì discenda il diritto di decidere per tutti. Il primo punto è discutibile, il secondo non l’ha mai verificato nessuno, e dal secondo al terzo non discende un cazzo.

Ma facciamo i generosi e concediamo tutto. Mettiamo che siate davvero i più intelligenti e i più saggi della stanza. E allora? L’idea che a decidere debbano essere i più capaci non l’avete inventata voi, è la domanda fondativa della politica e ci ragionano sopra da duemilacinquecento anni. Platone voleva i filosofi al comando, andò a Siracusa a metterlo in pratica e non funzionò.

La democrazia a quella domanda ha dato una risposta diversa e molto più modesta: siccome nessuno sa dire con certezza chi sia il più saggio, si sceglie qualcuno, gli si dà un mandato a termine e lo si tiene sotto controllo. Elezioni, separazione dei poteri, magistratura, stampa libera, bilanci pubblici, e la possibilità concreta di mandarlo a casa. Funziona male, si inceppa di continuo, viene aggirato ogni giorno. Però esiste, ed esiste perché il problema era chiaro da un pezzo.

Giovenale lo mette nella sesta satira, versi 347 e 348: sed quis custodiet ipsos custodes? Tutti la attribuiscono a Platone e quasi nessuno sa che in origine parlava d’altro, cioè di come impedire a una moglie di tradire quando pure i guardiani che le metti alle costole si comprano. Il concetto però è arrivato fin qui intatto: sorvegliare è a sua volta un potere, quindi va sorvegliato.

La domanda da fare a questi signori, allora, non è nemmeno se siano intelligenti. È chi li controlla. Chi revoca un mandato che non gli ha dato nessuno. A chi rispondono, quando sbagliano.

Una risposta ce l’hanno, ed è tutto un programma. Dario Amodei chiede un regime di valutatori esterni con accesso continuativo ai laboratori di frontiera. L’ente che quel lavoro lo fa esiste e si chiama METR, e nel suo rapporto sui rischi di frontiera del 2026 ha messo agli atti che fra il proprio personale e le persone dei laboratori ci sono rapporti personali stretti, e che le regole interne sul conflitto di interessi, all’inizio, avevano dei buchi.

I custodi se li sono scelti da soli, e abitano nelle stesse case dei sorvegliati.

Non è nemmeno originale. Il Mensa nasce a Oxford il 1° ottobre 1946, lo fondano due avvocati, Roland Berrill e Lancelot Ware, e per entrarci serve una cosa sola: un punteggio pari o superiore al 98esimo percentile in un test d’intelligenza supervisionato. Non un’opera, non un lavoro, non un risultato. Un punteggio. Il prodotto del club è il certificato di stare nel club.

E qui viene il bello. Berrill lo aveva immaginato come un’aristocrazia dell’intelletto, e ne rimase deluso, perché al test passava soprattutto gente di estrazione operaia e medio-bassa. Il fondatore, cioè, aveva costruito uno strumento che nelle sue intenzioni doveva selezionare una classe, ha scoperto che selezionava altro, e la cosa gli è dispiaciuta parecchio.

Prima del Mensa il biglietto era un altro, ma il club era lo stesso. Il Rotary nasce nel 1905, i Lions nel 1917, e ci si entra per professione e per invito. Lo statuto del Rotary riservava l’iscrizione ai soli uomini, e c’è voluta la Corte Suprema degli Stati Uniti, nel 1987, per stabilire che una legge della California poteva obbligarli ad ammettere le donne senza violare il Primo Emendamento.

Il biglietto dei razionalisti è ancora un altro: aver letto le Sequences ed essere d’accordo con gli argomenti. Lo nota Duncan, ed è la trappola perfetta, perché una comunità che si organizza attorno al superamento dei propri bias finisce per trattare l’appartenenza come la prova di averli superati.

Poi, nel 2013, il MIRI promuove un articolo di Nick Bostrom e Carl Shulman sulla selezione degli embrioni per l’incremento cognitivo, legando in modo esplicito i guadagni di intelligenza alle prospettive di un’IA sicura. A quel punto il club ha smesso di selezionare i soci. Seleziona chi nasce.

L’aristocrazia non se n’è mai andata, e l’alta borghesia nemmeno. Hanno solo cambiato il biglietto d’ingresso: prima il sangue, poi il censo, poi la professione, adesso un punteggio. E chi quel punteggio ce l’ha in tasca si sente in diritto di guardarti dall’alto e di decidere al posto tuo, cosa che nessuno gli ha mai chiesto di fare.

L’Anticristo allo specchio

Thiel il suo Anticristo ce l’ha. L’ha trovato in chi chiede regole e l’ha indicato con il metodo di sempre: una spiegazione totale, che non si può falsificare, dove ogni obiezione diventa una conferma.

Adesso voglio il mio, e me lo prendo con lo stesso metodo, dicendolo. Per decenni un gruppo ristretto di persone ha orientato l’economia, poi la politica, fino a prendersi decisioni geopolitiche e strategiche per conto di tutti senza che nessuno le avesse mai elette o nominate. Hanno finanziato vicepresidenti, trattato un’isola artica come un’opportunità immobiliare, costruito la sorveglianza di massa e venduta agli stati, messo in mano a chiunque una macchina per spogliare le persone senza il loro consenso, alimentato le derive autoritarie che adesso chiamiamo con il loro nome. Se il mondo lo guidano loro, allora di tutti i mali del mondo, o quasi, la colpa è loro. E posso chiamarli Anticristo con la stessa serietà teologica con cui Thiel ha dato del legionario dell’Anticristo a una ragazza svedese che fa gli scioperi per il clima.

Ho appena fatto la stessa identica cosa che rimprovero a lui, e l’ho fatta apposta. Una spiegazione che regge qualunque obiezione non spiega niente, nemmeno quando i colpevoli sono quelli giusti.

Sotto la provocazione, però, c’è una cosa che prendo sul serio. La cerca eroica ha bisogno di un drago. I razionalisti hanno bisogno della macchina che ci ammazza tutti per giustificare il proprio diritto a costruirla. Thiel ha bisogno dell’Anticristo per giustificare il proprio diritto a non rispondere a nessuno. Se il drago descritto così non sta in piedi, e se lo scopo che gli attribuiscono è il loro, allora la cerca non ha mai riguardato il drago.

Maturana, nella stessa appendice che nessuno gli volle pubblicare, scrive che una rivoluzione è una rivoluzione solo se è una rivoluzione etica.

Voi la tecnologia ce l’avete. Avete i soldi, i data center, le fabbriche, i vicepresidenti. Vi manca solo un’etica, che sarebbe meglio non coincida con il vostro diritto autoassegnato a fare come vi pare. A giocare con la vita delle persone. A stravolgere gli equilibri faticosamente costruiti. E tutto per cosa, per il potere? Per i soldi? Quelli li avete già, e non vi bastano.

Per l’ego smisurato di cui, purtroppo per noi, siete dotati.

Nell’attesa, tornate a fare tecnologia. Sareste anche bravi.

Forse.

kLeZ

Fonti