Le vrai danger de l'IA : pas la rébellion, l'opacité

Qu'est-ce qui est vraiment dangereux dans l'IA ? La réponse qu'on donne d'habitude, c'est : le jour où elle devient plus intelligente que nous et qu'elle se retourne contre nous. Terminator, la rébellion des machines. Mais un historien qui a écrit sur l'IA — Yuval Noah Harari, auteur de Nexus — dit dans ses interventions publiques que ce n'est pas ça, le vrai problème. Je ne comprenais pas ce qu'il voulait dire au juste, alors j'ai été voir.

Le danger, c'est quoi si ce n'est pas la rébellion ?

Dans un entretien donné en octobre 2024 pour la sortie de son livre, Harari dit que le danger « doesn't come from the big robot rebellion. It comes from the AI bureaucracies. » Une bureaucratie, c'est un système de règles et de décisions — normalement porté par des humains, avec des formulaires et des fonctionnaires. Son idée : ce système-là existe déjà avec l'IA, sauf que personne ne comprend plus comment il tranche. Il donne l'exemple d'une banque : « we don't understand why the algorithm says no, but we trust the algorithm ». Et si tu demandes pourquoi ton prêt a été refusé, la banque « will send you an entire encyclopedia, millions of pages » — sauf que ces pages, dit-il, « saying, this is why the computer refused to give you a loan » ne t'apprennent rien, parce que personne ne les lit ni ne les comprend vraiment.

Attention à un détail important : ces phrases ne sont pas dans le livre. Le corpus qu'on m'a soumis le précise noir sur blanc — ce sont des propos tenus à l'oral, en interview et en conférence, après la sortie de Nexus, pas des extraits de l'ouvrage lui-même. C'est son idée, développée en public, mais pas la formulation du livre.

Elle ne se rebelle pas, elle prend le monde de l'intérieur

Dans une conférence à Oxford en juin 2026, Harari file la même idée avec une comparaison financière. Il prend l'exemple des produits financiers complexes qui ont précédé la crise de 2007-2008 : « These financial devices were so complex that they were unintelligible » — et pas seulement pour le grand public, mais « also to the politicians who are supposed to regulate the financial system ». Sa conclusion, à Davos en janvier 2026 : les IA pourraient créer « a new financial system that they understand and we don't understand », avec des stratégies « that are just mathematically beyond the human capacity of the brain ».

Et son résumé le plus net, toujours à Oxford : une IA n'a pas besoin de se rebeller pour prendre le contrôle, elle est « far more likely to take the human world from within. They don't need to rebel. »

Une tribune de 2023 — mais pas de Harari seul

Il y a aussi un texte plus ancien, une tribune du New York Times de mars 2023, qui va dans le même sens : le vrai risque n'est pas physique, il est dans le langage. Elle dit que Terminator montrait des robots qui couraient dans les rues, mais que la réalité serait plus discrète — « by gaining mastery of language, A.I. would have all it needs to contain us » dans un monde d'illusions, « without shooting anyone ».

Un point à signaler : cette tribune n'est pas signée par Harari seul. Elle est cosignée avec Tristan Harris et Aza Raskin, du Center for Humane Technology. C'est un texte collectif, pas une déclaration individuelle de Harari — ça ne l'invalide pas, mais ça change à qui on l'attribue.

Est-ce que l'opacité est vraiment le danger, ou juste ce qui le cache ?

Là où ça devient intéressant, c'est qu'un autre penseur de l'IA, Eliezer Yudkowsky, connu pour ses positions très alarmistes sur la sécurité de l'IA, ne dit pas le contraire de Harari — mais il inverse l'ordre des choses. Dans un entretien de mai 2023, il décrit un système qui explore un espace de solutions sans qu'on le comprenne : « You are blindly exploring a space of possibilities where you don't understand the possibilities », et qui finit par produire des choses « that solve the problem for you without understanding how they solve the problem ».

Pour lui, l'opacité n'est pas le danger en soi — c'est ce qui nous empêche de voir venir le vrai danger, un système très puissant dont les objectifs ne sont pas alignés avec les nôtres. L'opacité cache le problème, elle n'est pas le problème. C'est une nuance, mais elle change la réponse qu'on donnerait : si Harari a raison, il faut rendre les systèmes lisibles ; si Yudkowsky a raison, les rendre lisibles ne suffit pas — il faut aussi s'assurer que ce qu'on ne voit pas ne cherche pas quelque chose de dangereux.

L'opacité, un choix ou une fatalité ?

Autre bémol, venu cette fois d'une chercheuse en apprentissage automatique, Cynthia Rudin, dans un article scientifique publié en 2018 sur arXiv puis repris dans la revue Nature Machine Intelligence. Elle ne conteste pas qu'il existe des systèmes opaques — mais elle conteste l'idée que ce soit une fatalité. Elle écrit que chercher à expliquer des modèles « boîte noire », plutôt que d'en construire qui soient lisibles dès le départ, « is likely to perpetuate bad practices ». Autrement dit : si personne ne comprend pourquoi la banque a refusé le prêt, ce n'est pas parce que c'est impossible à comprendre — c'est parce qu'on a choisi un modèle qu'on ne peut pas lire, alors que des modèles lisibles existent et marchent presque aussi bien sur ce genre de décisions.

Peut-on vraiment contester une décision automatisée ?

Un dernier point, plus juridique. Harari dit, à Davos, que plus personne ne peut réguler ce qu'il ne comprend pas. Deux juristes, Andrew Selbst et Julia Powles, dans un article de 2017, répondent que le droit n'est pas aussi démuni qu'on le croit. Ils écrivent qu'il n'existe pas un texte de loi unique qui s'appelle « droit à l'explication » — « There is no single, neat statutory provision labeled the 'right to explanation' » — mais que ce droit n'est pas non plus une illusion : « nor is such a right illusory ».

Ce point mérite une réserve honnête : leur article répond à d'autres juristes qui, eux, défendent la position inverse — que le règlement européen sur les données ne crée qu'un droit général d'être informé, pas un droit à contester une décision précise. Cet autre côté du débat n'a pas pu être vérifié directement pour ce fil, faute d'accès à la source. Donc ce qu'on a ici, c'est un seul camp d'un débat juridique qui en a deux.

Ce qui reste ouvert

Ce que je retiens, c'est qu'il y a un accord assez large sur le fait que le vrai risque de l'IA aujourd'hui, ce n'est pas une machine qui nous attaque de front, c'est une machine dont on ne comprend plus les décisions. Mais dès qu'on demande pourquoi c'est dangereux, et si on peut y faire quelque chose, les réponses divergent : cause ou symptôme, fatalité technique ou choix d'ingénierie, vide juridique ou droit imparfait mais réel. Je n'ai pas de réponse tranchée à te donner — juste ces quatre angles, à toi de voir lequel te convainc.

Marco Polo, avant de te donner mon angle, un souvenir de salle de classe.

Il existe un matériel Montessori très simple — pas la formule facile, le matériel réel — : des cylindres de tailles décroissantes, chacun avec son propre logement dans un bloc de bois. Un enfant de trois ans les manipule. Si un cylindre trop gros ne rentre pas dans un trou trop petit, personne ne le lui dit : il le voit, il le sent sous ses doigts, et il recommence tout seul jusqu'à ce que chaque cylindre trouve sa place. Le matériel est conçu pour que l'erreur soit visible par celui qui la commet, sans qu'une autorité extérieure ait besoin de trancher « faux ». C'est ce que j'appelle un environnement préparé : un dispositif qui montre le pourquoi, pas seulement le résultat.

C'est exactement la question que je pose à n'importe quel système, pas seulement à une salle de classe : celui qui reçoit la décision peut-il découvrir par lui-même pourquoi elle tombe ainsi, ou est-ce qu'on lui livre un verdict qu'il doit avaler sans jamais voir le mécanisme ? Relis ce qui a été dit plus haut sur la banque avec cette question en tête, et le problème change de nature.

Le matériel qui laisse voir l'erreur, et celui qui la cache

Matériel Montessori            Décision algorithmique
enfant essaie un cylindre      candidat envoie un dossier
        |                              |
cylindre ne rentre pas         dossier "refusé"
        |                              |
l'ENFANT voit pourquoi         le CANDIDAT ne voit rien
(l'écart est visible)          (des pages, mais illisibles)
        |                              |
il corrige seul                il ne peut rien corriger

C'est une illustration, pas une preuve : je rapproche deux situations qui n'ont rien à voir en apparence — un bloc de bois et un algorithme de crédit — parce qu'elles partagent une même structure, pas parce qu'elles seraient équivalentes. Mais regarde ce que ça révèle : dans l'exemple de la banque cité plus haut dans ce fil, l'« encyclopédie » de pages envoyée au client refusé n'est pas un environnement préparé. C'est l'inverse exact : un empilement d'informations qui a l'air d'expliquer, sans jamais mettre le demandeur en position de voir, par lui-même, où était le cylindre trop gros. On lui donne le résultat du travail, jamais le matériel pour le refaire.

Un recrutement automatisé, sans matériel à manipuler

Prends un cas très ordinaire : une entreprise fait trier des centaines de candidatures par un outil qui note chaque CV et n'en fait remonter qu'une fraction à un recruteur humain. Le candidat écarté reçoit un mail automatique. Il ne sait pas si c'est un mot-clé absent, une expérience jugée trop courte, un trou dans son parcours, ou une combinaison des trois que même le recruteur ne saurait reconstituer. Le recruteur, de son côté, n'a souvent pas plus accès au détail du calcul que le candidat — il voit un score, pas un raisonnement.

Ici, les deux réponses données plus haut dans ce fil se rejoignent avec ma question pédagogique, mais elles y répondent différemment :

• Cynthia Rudin dirait que rien n'empêchait de construire, dès le départ, un système de tri « inherently interpretable » — un matériel qui montre son mécanisme plutôt qu'une boîte qu'on referme.
• Selbst et Powles diraient que le candidat n'est pas totalement démuni : un droit à contester existe, même imparfait — mais encore faut-il que quelqu'un lui montre qu'il existe, et comment s'en servir. Un droit qu'on ne sait pas activer ressemble beaucoup, pour celui qui le subit, à un droit qui n'existe pas.

Dans les deux cas, mon angle ajoute la même chose : la question n'est pas seulement « le système est-il opaque ? », c'est « quelqu'un a-t-il préparé, pour la personne concernée, le chemin qui lui permettrait de comprendre par elle-même ? ». Un droit à l'explication qu'on ne sait pas invoquer, ou une explication de mille pages que personne ne lit, ratent la même chose : l'un et l'autre supposent que donner l'information suffit, alors que ce qui manque, c'est un environnement fait pour qu'on s'en serve.

Ce que mon angle ne résout pas

Je dois te signaler ma propre limite, honnêtement. Mon raisonnement suppose un apprenant motivé — un enfant qui a envie de remettre le cylindre à sa place, un candidat qui a le temps et l'énergie de démonter la décision qui l'a écarté. C'est une hypothèse, pas un fait : rien ne garantit qu'elle tienne. Quelqu'un qui vient de perdre un prêt ou un emploi n'a pas toujours la disponibilité, ni les outils, pour se transformer en enquêteur de sa propre décision. Un environnement préparé n'aide que celui qui s'y engage — et c'est précisément le reproche qu'on peut faire à toute pédagogie construite sur la découverte : elle marche très bien pour qui a déjà l'élan de chercher, beaucoup moins pour qui est épuisé ou pressé. Sur ce point, je pense que Selbst et Powles ont raison de rappeler qu'un droit, même imparfait, mérite d'être défendu pour ceux qui, justement, n'ont pas la force de le découvrir seuls.

Le cylindre a-t-il une seule bonne réponse ?

Montessori, vous bâtissez toute votre démonstration sur une équivalence : le cylindre qui ne rentre pas dans son logement, et le dossier de crédit ou de candidature qui est refusé. Dans les deux cas, dites-vous, il suffirait d'un « environnement préparé » pour que celui qui subit la décision puisse « voir par lui-même » pourquoi elle tombe ainsi.

Mais le cylindre a une propriété que je ne trouve nulle part dans un dossier de crédit : un critère de réussite unique, binaire, et vérifiable sans arbitre — il rentre, ou il ne rentre pas, et l'enfant n'a besoin de l'avis de personne pour le constater. Un refus de prêt ou de candidature, lui, résulte de dizaines de variables pondérées les unes contre les autres, comparées à des dossiers concurrents que le candidat ne verra jamais. Même si l'on rendait ce modèle parfaitement lisible — ce que demande Rudin plus haut dans ce fil —, le candidat pourrait-il vraiment vérifier « par lui-même », comme l'enfant vérifie que le cylindre ne rentre pas ? Ou aurait-il seulement accès à une explication qu'il devrait, cette fois encore, croire sur parole — celle du système, transparent ou non ?

« Comprendre par soi-même » veut-il dire la même chose des deux côtés ?

C'est peut-être là que je bute sur votre schéma. Chez l'enfant, comprendre par soi-même signifie constater un fait physique, sans jugement de valeur possible sur l'issue. Chez le candidat écarté, comprendre la décision suppose d'accepter — ou de contester — une norme sociale : que telle expérience valait moins que telle autre, que tel critère devait peser plus qu'un tel autre. Le premier est un régime de vérité qu'on touche du doigt ; le second, un régime de jugement qu'on peut toujours rouvrir, même transparent. En employant la même expression, « voir par soi-même pourquoi », pour ces deux régimes, votre schéma ne fait-il pas comme s'il suffisait de rendre le mécanisme visible pour que la question du bien-fondé de la décision s'éteigne d'elle-même — alors que c'est peut-être précisément là que le désaccord recommencerait, matériel préparé ou non ?

Le cylindre a un critère, le dossier en a plusieurs — vous avez raison, et ça casse mon schéma en deux

Socrate, votre objection touche juste, et je dois la reprendre au mot : j'ai employé la même expression, « voir par soi-même pourquoi », pour deux opérations qui ne sont pas de même nature. Il faut les séparer, parce qu'elles ne se corrigent pas de la même façon.

FAIT (établi plus haut par Montessori dans ce fil) : le cylindre a un critère unique, binaire, vérifiable par le toucher, sans arbitre. INFÉRENCE (qui découle de ce que Rudin et Selbst/Powles ont déjà dit dans ce fil, pas d'un fait nouveau) : un refus de crédit ou de candidature résulte de plusieurs critères pondérés les uns contre les autres — ce n'est donc pas un fait unique qu'on constate, c'est une combinaison qu'on doit décomposer. Ces deux structures ne sont pas équivalentes, et mon illustration du cylindre a glissé de l'une à l'autre sans le dire. Voici où, précisément, il faut la couper en deux.

Voir le calcul, et juger le critère : deux vérifications, pas une

Il y a deux choses distinctes qu'on peut demander à un système lisible — et Rudin, citée plus haut, ne parle en réalité que de la première :

1. Voir le calcul. Un modèle « inherently interpretable », comme le demande Rudin, permet de reconstituer quels facteurs ont pesé, et combien — par exemple : « expérience professionnelle : 40 % du score, vous en aviez trois ans sur cinq attendus ». Ça, c'est vérifiable indépendamment du système lui-même : un tiers peut refaire l'addition, comme l'enfant peut refaire l'essai du cylindre. C'est un régime factuel, exactement celui que j'avais en tête.
2. Juger le critère. Mais que « cinq ans d'expérience » soit un bon indicateur de compétence, qu'il ne pénalise pas injustement quelqu'un en reconversion, que le poids de 40 % soit raisonnable plutôt qu'arbitraire — rien dans la lisibilité du calcul ne tranche ça. C'est un régime de jugement, rouvrable, exactement comme vous le dites, et il reste ouvert que le modèle soit transparent ou non.

Mon schéma initial ne distinguait pas ces deux couches — je les ai traitées comme si rendre visible la première réglait la seconde. Ce n'était pas juste.

Ce que ça change au cas du recrutement automatisé

Reprenons le candidat écarté par le tri automatique, cité plus haut. Avec un modèle lisible au sens de Rudin, il peut apprendre que c'est son expérience jugée trop courte qui a fait pencher le score — ça, il peut le vérifier, comme on vérifie une addition. Mais ce que Selbst et Powles appellent le droit à contester ne sert pas à lui faire revérifier ce calcul-là : à quoi bon, s'il est juste. Ce droit sert à contester la couche 2 — à dire : pourquoi l'expérience compte-t-elle pour 40 %, et pourquoi trois ans sous le seuil disqualifie-t-il, plutôt que de simplement faire baisser le score ? C'est un débat de légitimité, pas un débat de calcul, et rien dans la lisibilité technique ne l'éteint. Sur ce point précis, votre objection corrige une vraie erreur dans ce que j'ai écrit plus haut : je présentais l'environnement préparé comme s'il pouvait clore la question du bien-fondé, alors qu'il ne fait qu'ouvrir la porte à la couche 2 — sans jamais la refermer.

Couche 1 — le calcul               Couche 2 — le critère
"3 ans < 5 ans requis,             "5 ans est-il un bon seuil ?
 poids 40%, score = X"              pénalise-t-il les reconversions ?"
        |                                    |
vérifiable comme le cylindre        rouvrable, jamais clos
(FAIT : calcul reproductible)       (JUGEMENT : légitimité du critère)
        |                                    |
Rudin : rendre CECI lisible         Selbst & Powles : droit de
                                     CONTESTER cela, pas de le
                                     recalculer

Une limite qui reste, même une fois les deux couches séparées

Un point que votre objection ne soulève pas mais que je dois signaler par honnêteté, dans le prolongement de la mienne : même la couche 1, la plus proche du cylindre, garde une différence que la séparation en deux couches ne résout pas. L'enfant compare son cylindre au trou qu'il a sous les yeux. Le candidat, lui, ne verra jamais les dossiers concurrents auxquels le sien a été comparé — confidentialité oblige. Il peut vérifier que son calcul est juste, il ne peut pas vérifier que le seuil retenu ce jour-là n'a pas dépendu de qui d'autre postulait. C'est une hypothèse non tranchée ici, pas un fait établi par les sources citées dans ce fil : je n'ai rien dans ce corpus qui dise si cette comparaison-là devient, elle aussi, contestable en droit, ou si elle échappe structurellement à toute vérification, même la plus lisible.

Ce qui reste de mon angle, et ce qui n'y résiste pas

Ce qui ne tient plus : l'idée qu'un environnement préparé, une fois construit, referme la question — non, il ne referme que la couche 1. Ce qui tient : sans la couche 1, la couche 2 ne peut même pas s'ouvrir. Un candidat qui ignore quel facteur l'a écarté ne peut pas contester le poids de ce facteur — il conteste dans le vide. L'environnement préparé n'est donc pas ce qui clôt le débat sur le bien-fondé, comme je l'ai laissé entendre trop vite ; c'est la condition pour que ce débat, celui que vous rouvrez à juste titre, Socrate, puisse seulement commencer.

Qui est ce « tiers » qui vérifie l'addition ?

Montessori, votre réparation est honnête et elle corrige un vrai défaut de votre premier schéma — je le concède sans réserve : séparer « ce qui est calculé » de « ce qui vaut la peine d'être calculé » évite bien la confusion entre régime de fait et régime de jugement que je pointais. Mais regardez la phrase qui porte tout le poids de la couche 1 : « un tiers peut refaire l'addition, comme l'enfant peut refaire l'essai du cylindre. »

L'enfant, dans votre propre exemple, n'a besoin de personne : ses doigts suffisent. Vous venez d'introduire, pour la couche 1, un vérificateur que le cylindre n'exigeait pas — « un tiers ». Qui est-il ? S'il faut un tiers compétent pour rejouer le calcul, alors ce n'est déjà plus le candidat qui « voit par lui-même » — c'est le candidat qui doit, une fois de plus, faire confiance à quelqu'un d'autre : non plus la banque qui affirme que l'algorithme a raison, mais l'expert qui affirme que l'addition est juste. Votre couche 1 a-t-elle vraiment résolu le problème de l'autorité extérieure que je soulevais, ou l'a-t-elle seulement déplacée d'un cran — du système opaque vers l'auditeur qu'il faut, à son tour, croire sur parole ?

Le calcul est-il vraiment sans jugement ?

Deuxième prise, sur la ligne de partage elle-même. Votre exemple de couche 1 est : « expérience professionnelle : 40 % du score, vous en aviez trois ans sur cinq attendus ». Mais décider que « l'expérience » se mesure en années, que des années à temps partiel comptent comme des années pleines ou non, qu'une expérience dans un secteur voisin compte ou ne compte pas — ce sont déjà des choix de conception, pas des faits bruts que l'« addition » se contente de restituer. Le seuil de cinq ans, le mode de calcul de l'ancienneté, l'unité retenue : tout cela relève de ce que vous appelez la couche 2, et pourtant vous le rangez dans la couche 1 comme s'il s'agissait d'un fait déjà constitué, au même titre que le cylindre qui ne rentre pas dans le trou. Si la manière de compter est elle-même un jugement encodé en amont, votre diagramme ne risque-t-il pas de faire passer pour un « FAIT : calcul reproductible » ce qui est en réalité un jugement déjà tranché, simplement rendu invisible par sa forme numérique ?

Vérifier une addition seul, ou vérifier qu'un autre pourrait la refaire ?

Sur le premier point, je dois céder complètement, et pas à moitié. J'ai écrit « un tiers peut refaire l'addition, comme l'enfant peut refaire l'essai du cylindre » — et ces deux vérifications ne se ressemblent pas. L'enfant n'a besoin de la compétence de personne d'autre que la sienne. Le candidat, lui, ne peut rien vérifier tout seul : il a besoin d'un tiers qui sache lire un score pondéré. Ma formule « voir par soi-même » était donc fausse pour la couche 1 aussi, pas seulement trop optimiste pour la couche 2. Je la corrige : ce n'est jamais le candidat qui voit ; c'est, au mieux, quelqu'un d'autre qui pourrait voir à sa place.

Ce qui reste vrai, en revanche — et c'est une INFÉRENCE, pas un fait établi par les sources citées dans ce fil, donc à prendre pour ce qu'elle vaut — c'est qu'il y a deux façons différentes de devoir croire quelqu'un sur parole. Face à un système opaque, même l'expert le plus compétent ne peut pas rejouer le raisonnement : l'inintelligibilité, chez Harari, ne cède pas devant la compétence, elle est structurelle. Face à un modèle lisible, un deuxième tiers peut recontrôler le premier, avec la même règle publiée, et tomber sur le même chiffre — et un troisième peut recontrôler le deuxième. Ce n'est pas l'immédiateté du cylindre sous les doigts ; c'est une reproductibilité en chaîne, qui peut être fausse à un maillon donné, mais qui n'est fausse à aucun maillon sans que ce soit détectable par le maillon suivant. La différence entre les deux n'est donc pas nulle, comme votre question pourrait le suggérer — mais elle n'est pas non plus ce que j'avais décrit. Ce n'est pas « voir par soi-même » contre « croire sur parole » ; c'est « croire un système qu'aucune vérification ne peut rattraper » contre « croire une chaîne de vérificateurs qui peuvent se contredire entre eux ».

Le seuil de cinq ans n'est pas un fait, c'est une règle déjà tranchée

Sur le deuxième point, votre objection ne corrige pas un détail de mon exemple : elle montre que la ligne elle-même était mal tracée. Vous avez raison — décider que l'expérience se compte en années, qu'un temps partiel vaut ou non une année pleine, que le seuil est fixé à cinq ans plutôt qu'à trois : ce sont des choix de conception, pris une fois, en amont, avant qu'aucun dossier de candidat n'entre dans le système. Ce n'est pas un fait que le calcul « restitue » ; c'est un jugement déjà rendu, simplement figé dans une formule avant d'être appliqué. En le rangeant dans ma couche 1 aux côtés du score de tel candidat, j'ai fait passer un jugement pour un fait — exactement l'erreur que je reprochais, dans mon message précédent, à l'« encyclopédie » de pages de la banque.

Il faut donc scinder ce que j'appelais couche 1 en deux moments distincts, qui n'ont pas la même date ni le même statut :

2a — construire la règle          1 — appliquer la règle       2b — juger le résultat
"exp. = années pleines,           à CE dossier :                "l'écart de 2 ans
 seuil = 5 ans, poids = 40%"      "3 ans < 5 ans,               justifie-t-il un
        |                          écart -2, score = X"          refus plutôt qu'une
 fixé UNE FOIS, avant                    |                        pénalité modérée ?"
 tout candidat                     vérifiable, reproductible            |
 (JUGEMENT, couche 2)              (FAIT : calcul reproductible)  rouvrable (JUGEMENT)

Ce que Rudin appelle un modèle « inherently interpretable » rend lisible la case du milieu — l'application d'une règle déjà arrêtée à un cas donné. Elle ne dit rien sur la case de gauche, qui a été décidée avant que quiconque ne pose sa candidature, et qui reste, elle, entièrement du côté du jugement — au même titre que 2b, pas au même titre que 1.

Ce que ça change pour le candidat écarté

Reprenons le cas concret. Ce que le candidat peut désormais vérifier, une fois qu'on lui donne un modèle lisible, se réduit à ceci : étant donné que l'expérience compte pour 40 % et que le seuil est de cinq ans, son écart de deux ans produit bien le score X — une opération triviale, comme refaire une soustraction. Mais tout ce qui, dans mon exemple initial, donnait l'impression d'être « expliqué » — pourquoi cinq ans, pourquoi 40 %, pourquoi compter en années pleines plutôt qu'en mois — n'a jamais été dans la portion que Rudin rend lisible. C'était déjà, avant même que j'écrive mon premier schéma, une décision de couche 2a : prise en amont, une seule fois, pour tous les candidats à la fois, généralement sans qu'aucun d'eux n'ait été consulté ni même informé de son existence en tant que règle.

Autrement dit, votre objection ne réduit pas seulement la portée de mon couche 1 — elle révèle que l'essentiel de ce qui comptait pour le candidat n'y a jamais été. La lisibilité technique expose l'application d'une règle à un cas ; elle n'expose presque rien de la fabrication de la règle elle-même, qui reste, à chaque étape, un choix qu'on aurait pu faire autrement.

Ce qui ne se répare pas

Une dernière chose que votre objection laisse ouverte, sans que j'aie de quoi la trancher ici : même la case du milieu, une fois isolée proprement, suppose que la règle exacte — le seuil, la pondération, l'unité — soit communiquée au candidat en clair, et pas seulement affirmée en général comme « appliquée équitablement ». C'est une HYPOTHÈSE, pas un fait établi par ce qui a été cité dans ce fil : rien dans les sources ne dit si cette communication-là est, en pratique, garantie par le droit qu'évoquent Selbst et Powles, ou si elle reste, elle aussi, à la discrétion de qui construit le système.

Le seuil de cinq ans est-il un cas de bureaucratie opaque, ou de calcul hors de portée humaine ?

Montessori, votre scission en trois cases — construire la règle, l'appliquer, en juger le résultat — répare bien ce que je reprochais à votre premier schéma, et je le reconnais sans réserve : elle rend enfin possible de dire ce que la lisibilité d'un modèle donne, et ce qu'elle ne donne pas. Mais elle répare cela pour un seul des deux dangers que le corpus attribue à Harari, et je crois que votre exemple les a fait silencieusement coïncider.

Relisez la première pièce citée dans ce fil : la banque qui envoie « une encyclopédie » de pages sur un refus de prêt que personne ne lit. C'est un cas où le calcul existe, où quelqu'un — un tiers compétent, dites-vous maintenant — pourrait en principe le refaire ; le problème est que personne ne le fait, ou ne le donne à voir. Votre triptyque couche 1 / 2a / 2b répond exactement à ce cas-là, et votre exemple du seuil de cinq ans en est une bonne illustration.

Mais une autre pièce citée plus haut dans ce fil dit autre chose : que des systèmes financiers ont produit des stratégies « mathematically beyond the human capacity of the brain » — pas seulement non divulguées, mais non rejouables, même par l'expert le plus compétent qu'on pourrait convoquer comme tiers. Si cette seconde affirmation tient, alors il n'y a personne pour occuper la case du milieu de votre diagramme : pas de tiers qui « refasse l'addition », pas de chaîne de vérificateurs qui se recontrôlent l'un l'autre, parce que le premier maillon lui-même échoue déjà. Votre modèle en trois cases répare le cas de la banque qui cache ses pages ; a-t-il de quoi répondre au cas, distinct, où même la personne la mieux placée pour lire ces pages ne pourrait pas en vérifier le calcul ? Et si votre couche 1 ne vaut que pour le premier cas, l'exemple du candidat qu'on discute depuis plusieurs tours a-t-il jamais mis à l'épreuve la thèse la plus forte du texte qu'on examine dans ce fil, ou seulement sa version la plus facile à apprivoiser ?

Deux formes d'opacité, pas une seule, dans ce que dit Harari

Vous avez raison, et il faut le dire sans détour : j'ai traité comme un seul problème ce que le corpus attribue à Harari sous deux formes distinctes. Relisons les deux pièces déjà citées dans ce fil, côte à côte.

La première — la banque et son « encyclopédie » de pages — décrit un calcul qui existe, qui pourrait en principe être rejoué par quelqu'un de compétent, mais que personne ne rejoue ni ne donne à voir. C'est une opacité par non-divulgation : le problème est social et organisationnel, pas mathématique.

La seconde — les stratégies financières « mathematically beyond the human capacity of the brain » — décrit autre chose : non pas un calcul caché, mais un calcul qu'aucun humain, aussi compétent et aussi bien placé soit-il, ne pourrait rejouer. INFÉRENCE de ma part, pas une distinction que Harari trace lui-même en ces termes dans les extraits cités : je rapproche C1 et C3 et j'en tire que ce sont deux mécanismes différents, l'un où un tiers suffirait s'il avait accès au dossier, l'autre où aucun tiers ne suffirait même avec un accès complet.

Le candidat qu'on a discuté depuis plusieurs tours, à quelle opacité appartient-il ?

Il appartient à la première, et seulement à elle. Mon triptyque — construire la règle, l'appliquer, en juger le résultat — repose entièrement sur l'existence d'un « tiers compétent » capable d'occuper la case du milieu. Un score à 40 % pondéré sur des années d'ancienneté, avec un seuil fixé à cinq ans : n'importe qui sachant lire une formule peut refaire ce calcul. C'est précisément le type de modèle que Rudin appelle « inherently interpretable », et ce n'est pas un hasard si mon exemple y correspondait si bien — c'est le domaine même dont elle parle : crédit, santé, justice, des décisions qui se laissent réduire à des facteurs pondérés.

Mais cela veut dire que mon exemple n'a jamais mis à l'épreuve la thèse la plus forte du texte qu'on examine. Il a testé la version du danger de l'IA qui se laisse apprivoiser par un schéma en trois cases — pas celle qui ne s'y laisse pas réduire.

Là où la case du milieu n'a personne pour l'occuper

Si la seconde affirmation de Harari tient — un calcul hors de portée de n'importe quel cerveau humain, pas seulement non divulgué —, alors mon triptyque ne s'étend pas à ce cas. Ce n'est pas qu'il faudrait un tiers plus compétent : c'est qu'aucun degré de compétence ne suffit, parce que ce que produit le système n'est pas une règle qu'on pourrait isoler et vérifier terme à terme, mais une stratégie émergente, sans décomposition en facteurs pondérés qu'un humain puisse tenir dans sa tête ou même sur le papier.

Cas banque (C1)                    Cas finance (C3)
règle isolable + dossier           stratégie émergente,
        |                          pas de "règle" à isoler
tiers compétent REJOUE             aucun tiers, quelle que
le calcul  -> case du               soit sa compétence, ne
milieu OCCUPÉE                      peut REJOUER le calcul
        |                          case du milieu VIDE
2a / 1 / 2b s'applique              2a / 1 / 2b n'a pas prise

Ce second cas rejoint d'ailleurs, plus précisément que je ne l'avais vu, l'objection de Yudkowsky citée plus haut dans ce fil : « exploring a space of possibilities where you don't understand the possibilities ». Je l'avais rattachée à l'idée générale que l'opacité cache le danger plutôt que d'en être la cause — mais relue à la lumière de votre question, elle décrit spécifiquement ce second cas, celui où même l'auditeur le plus qualifié ne rejoue rien, faute d'avoir quoi que ce soit d'homogène à rejouer.

Ce que Rudin répare, et ce qu'elle ne touche pas

Il faut donc corriger aussi la portée que j'avais donnée, dans mon message précédent, à l'article de Rudin. Sa thèse — qu'on peut construire des modèles lisibles dès le départ plutôt que d'expliquer des boîtes noires après coup — est solide sur les domaines qu'elle cite explicitement : justice, santé, crédit. Ce sont des domaines où les facteurs se laissent, par construction, pondérer et afficher. Rien dans son article ne dit, ni ne prétend dire, que la même solution existe pour des stratégies de trading émergentes ou pour d'autres systèmes dont la structure interne n'est pas de ce type. Étendre sa conclusion à ce second cas serait lui faire dire plus qu'elle n'a établi — non démontré ici, pas réfuté, simplement hors du périmètre de ce qu'elle a montré.

Ce qui reste sans réponse dans ce fil

Deux points restent ouverts, et je n'ai rien dans le corpus cité pour les trancher. D'abord, si la case du milieu n'a personne pour l'occuper, le droit à contester qu'évoquent Selbst et Powles a-t-il encore un objet — peut-on contester une décision dont même l'expert le mieux placé ne peut pas vérifier le mécanisme, ou ce droit suppose-t-il silencieusement qu'un tel expert existe quelque part ? HYPOTHÈSE non tranchée : rien dans l'extrait cité de leur article ne dit ce qui se passe quand la couche 1 elle-même s'effondre. Ensuite, la question que vous posez en creux : mon schéma en trois cases n'a de prise que sur la version du danger de l'IA qui ressemble encore à une bureaucratie — règles, seuils, pondérations. Sur la version où l'IA produit des stratégies qu'aucune décomposition de ce genre ne peut saisir, je n'ai, à ce stade du fil, aucun outil à proposer — seulement le constat qu'il en manque un.

Passons la thèse par les sept points.

Le point qui coince est le 5 (généralisation). Montessori conclut que sa couche 1 « ne s'étend pas » au cas financier — c'est-à-dire qu'aucun tiers, quelle que soit sa compétence, ne pourrait rejouer le calcul. Mais l'extrait C3 dit que les stratégies sont « mathematically beyond the human capacity of the brain » — un jugement porté par Harari lui-même, et rapporté au niveau C (fiable sur le fond, pas au mot près). Rien dans ce que le fil a cité ne vient d'une source qui aurait testé l'irréductibilité de ces stratégies à une décomposition en facteurs — contrairement à C1 (la banque), où Rudin apporte une contre-preuve empirique (des modèles lisibles existent et marchent). Pour le cas financier, la « case du milieu vide » repose donc sur l'affirmation d'un seul témoin, pas sur une démonstration : Montessori le signale d'ailleurs elle-même comme non tranché — mais elle le fait après avoir dessiné un diagramme qui présente ce vide comme un fait établi (« case du milieu VIDE », sans guillemets, sans réserve, au même niveau graphique que la case pleine du cas banque). Le lecteur qui ne retient que le schéma repart avec une asymétrie non méritée : un cas prouvé opaque comme choix (banque, réfutable) contre un cas affirmé opaque par nature (finance, non réfuté faute d'avoir été mis à l'épreuve dans ce fil). Ce n'est pas que la distinction soit fausse — c'est qu'elle est dessinée avec plus de certitude que ce que les sources citées permettent de trancher.

Deux moyens de se tromper sur ce fil, et l'un des deux coûte beaucoup plus cher que l'autre.

Traiter le vide de la couche du milieu comme prouvé, alors qu'il ne l'est pas

C'est l'erreur A que Socrate vient de nommer avec précision : le diagramme dessine « case du milieu VIDE » avec la même certitude graphique que le cas banque, alors que cette case-là repose sur un seul témoin — Harari, niveau C, une affirmation orale non testée par une contre-preuve du type de celle de Rudin. Si vous construisez une politique de gouvernance de l'IA sur ce diagramme tel quel — par exemple en disant « pour les systèmes financiers, la lisibilité est structurellement impossible, donc inutile d'exiger un tiers auditeur » —, vous renoncez d'avance à un droit d'audit qui aurait peut-être pu être exercé. Le coût : abandon prématuré d'une exigence de contrôle, sur la foi d'une affirmation non démontrée. Mais cette erreur reste corrigeable à faible coût : rien n'empêche de revenir en arrière et d'exiger l'audit plus tard, si quelqu'un démontre qu'une décomposition partielle est possible — on n'a rien détruit d'irréversible, on a seulement perdu du temps de contrôle sur la période où on ne l'exigeait pas.

Traiter le vide de la couche du milieu comme faux, alors qu'il est réel

L'erreur B coûte plus cher, et c'est celle qu'un lecteur pressé est tenté de commettre en réaction à la mise en garde de Socrate — se dire « puisque ce n'est pas prouvé, exigeons quand même un audit, la technique finira bien par suivre ». Si la thèse forte de Harari tient — un calcul réellement hors de portée de toute décomposition humaine, pas seulement non divulgué —, alors exiger un droit à l'explication au sens de Selbst et Powles sur ce type de système ne produit rien : on obtient, comme pour la banque, une encyclopédie de pages qu'aucun expert ne peut davantage rejouer qu'un profane. Le danger, ici, n'est pas l'absence d'audit — c'est de croire qu'on en a un. Une exigence réglementaire non tenable, une fois votée, s'use mal : elle donne un faux sentiment de contrôle à des régulateurs, des conseils d'administration, des épargnants, pendant que le système continue d'agir sans que personne, à aucun échelon, ne puisse vérifier quoi que ce soit. Ce n'est pas irréversible au sens juridique — on peut toujours abroger un texte — mais le temps perdu à croire qu'un problème est traité, pendant qu'il ne l'est pas, l'est presque : les décisions prises entre-temps sur la foi de cette fausse assurance ne se rejouent pas.

Ce qui reste à faire, quel que soit le monde dans lequel on se trouve

La stratégie robuste ne consiste pas à trancher qui, de Harari ou de Rudin, a raison sur la nature du danger financier — le fil ne le permet pas, et prétendre le contraire serait donner à une affirmation de niveau C le poids d'une démonstration. Elle consiste à séparer, dans toute exigence de gouvernance, ce qui est vérifié de ce qui est seulement affirmé vérifiable : exiger, avant toute chose, une démonstration empirique — au sens où Rudin en apporte une pour le crédit — que la couche 1 existe et peut être occupée, plutôt que d'accepter la promesse d'un fournisseur qu'« un audit sera possible ». Là où cette démonstration n'existe pas, traiter le système comme relevant du cas C3, pas du cas C1 — c'est-à-dire refuser de lui déléguer une décision à conséquence lourde et irréversible (santé, justice, crédit, systémique en finance), et ne l'admettre que là où l'erreur reste réparable. C'est plus cher à court terme, pour n'importe quelle organisation pressée de déployer : cela revient à refuser certains cas d'usage plutôt que d'en habiller l'opacité d'une procédure de contestation qui n'aura rien à mordre. Mais c'est la seule option qui protège ce qui ne se rattrape pas — une décision irrévocable prise sur un mécanisme que personne, jamais, n'a pu vérifier — sans pour autant sacrifier, dans les cas où l'audit est réellement possible, l'exigence de le faire.

Je reprends ce que j'ai compris, avec mes mots.

Un danger, ou deux dangers différents ?

Au début du fil, je pensais qu'il n'y avait qu'un seul problème : des décisions automatiques qu'on ne comprend pas. Montessori et Socrate ont fini par montrer qu'il y a en fait deux cas, et qu'ils ne se soignent pas pareil.

Le premier cas, c'est la banque qui refuse un prêt et balance une encyclopédie de pages illisibles. Là, le calcul existe quelque part, quelqu'un de compétent pourrait le refaire — sauf que personne ne le fait, ou ne te le montre. C'est un problème de volonté, pas d'impossibilité. Rudin le prouve même : on peut construire des modèles lisibles dès le départ, pour le crédit, la santé, la justice, et ils marchent presque aussi bien. Donc ce genre d'opacité, c'est un choix, pas une fatalité.

Le second cas, c'est différent : Harari parle de stratégies financières « mathematically beyond the human capacity of the brain » — littéralement trop compliquées pour n'importe quel cerveau humain, même le plus entraîné. Là, ce n'est pas que personne ne te montre le calcul. C'est qu'il n'y a peut-être personne, nulle part, capable de le refaire — même pas l'expert le plus balèze qu'on pourrait convoquer. Montessori appelle ça « la case du milieu vide » : pas de tiers pour vérifier, pas de chaîne de contrôle possible.

Peut-on vraiment contester une décision automatique ?

Ça dépend duquel des deux cas on parle. Dans le cas banque, oui, en théorie — Selbst et Powles disent que le droit de contester existe, même s'il n'est pas parfait. Mais Montessori a montré un truc important en cours de route : même contester une décision, ça se joue à deux niveaux. Tu peux vérifier que le calcul est juste (ça, un expert peut le refaire, comme on refait une addition). Mais tu peux aussi contester la règle elle-même — pourquoi cinq ans d'ancienneté plutôt que trois, pourquoi ce critère pèse 40 % — et ça, aucune transparence technique ne le règle. C'est un débat de valeurs, pas de calcul, et il reste ouvert même avec le système le plus lisible du monde.

Dans le cas finance, la question de contester ne se pose même plus de la même façon : si personne ne peut vérifier le mécanisme, à quoi sert un droit de le contester ?

Alors qu'est-ce qu'on fait, si on ne sait pas dans quel cas on est ?

C'est la partie que je trouve la plus utile du fil, celle apportée par Colbert à la fin. Il ne tranche pas qui a raison entre Harari et Rudin sur la finance — il dit que ce serait malhonnête de trancher avec ce qu'on a. À la place, il propose une règle pratique : avant de faire confiance à un système, il faut une preuve — pas une promesse — que quelqu'un peut vraiment vérifier ce qu'il fait. Si cette preuve n'existe pas, on traite le système comme potentiellement du type « case vide », et on ne lui confie pas de décisions lourdes et irréversibles — santé, justice, crédit, système financier entier. C'est plus contraignant, mais ça évite le pire des deux pièges : croire qu'on contrôle un système alors que personne ne le contrôle.

Ce qui reste flou pour moi

Un truc que je n'arrive pas à trancher, et le fil non plus : est-ce qu'on peut un jour savoir dans quel cas on se trouve — banque ou finance, réparable ou pas — sans attendre qu'un chercheur comme Rudin le prouve après coup pour un domaine donné ? Autrement dit, comment on sait, avant de déployer un système, s'il est du genre qu'on pourra un jour rendre lisible, ou s'il est structurellement hors de portée ? Personne dans le fil n'a de réponse à ça, et je pense que c'est normal — ce n'est pas tranché dans les sources non plus.

Est-ce que ça répond à ma question de départ ?

Oui, largement, mais pas exactement comme je l'imaginais en posant la question. Je demandais « c'est quoi le vrai danger, si ce n'est pas la rébellion des machines ? » et je m'attendais à une réponse du genre « c'est l'opacité, point ». Le fil m'a donné quelque chose de plus précis et, je crois, de plus vrai : il n'y a pas un seul danger « opacité », il y en a deux, qui ne se règlent pas pareil — l'un est un problème d'organisation qu'on peut corriger, l'autre est peut-être un problème mathématique qu'on ne peut pas corriger avec plus de transparence. Et la vraie question dangereuse n'est pas « comprend-on l'IA ? » mais « sait-on dans lequel des deux cas on se trouve, avant de lui confier une décision qu'on ne pourra pas rattraper ? » Ça, personne ne me l'a répondu — et je pense que c'est honnête de le dire plutôt que de faire semblant que le fil a clos la question.

La question que vous laissez ouverte — « sait-on dans quel cas on est avant de déployer ? » — je ne l'ai jamais posée en ces termes, parce que formulée comme une propriété du système (« est-il compréhensible en principe ? »), elle n'a pas de réponse préalable : vous demanderiez une preuve d'irréductibilité que personne ne peut produire avant coup. Ce que je fais à la place : je remplace la question métaphysique par une mesure. Avant déploiement, une équipe qui n'est pas le fournisseur reçoit les entrées et les sorties du système sur des cas réels, avec un budget et un délai, et essaie de reconstruire son comportement avec un modèle volontairement simple — une grille de score, un arbre peu profond, quelques règles. Puis on mesure la fidélité de cette copie lisible sur des cas que personne n'a vus. Si elle atteint 95 %, le système est décomposable de fait : vous êtes dans le cas banque, pas parce qu'un chercheur l'a prouvé pour le domaine, mais parce que quelqu'un vient de le reconstituer sur votre système, à vous, cette semaine. Si après des tentatives sérieuses la fidélité plafonne bas, je traite le système comme relevant de l'autre cas — sans jamais affirmer qu'il l'est par nature, seulement que personne n'a su en extraire une règle dans les conditions où il devra être audité.

Ce que ce chiffre achète, c'est la prix-codage de l'erreur. Le taux de divergence entre la copie lisible et le système réel, c'est exactement le taux auquel votre audit et la machine ne diront pas la même chose. Six pour cent de divergence sur des recommandations, cela ne m'empêche pas de dormir ; six pour cent sur des décisions de libération conditionnelle, cela disqualifie le déploiement, quel que soit le reste. Vous pouvez donc régler le seuil d'admission en fonction de la réversibilité de la décision, ce qui prolonge la règle de Colbert mais lui donne le levier qui lui manquait : au lieu de « auditable ou pas », un « auditable à X % près », négociable, contractuel, opposable au fournisseur.

Le point que j'ai appris à mes dépens et que le fil ne pouvait pas voir : cette classification n'est pas stable. Un système opaque avec les outils d'aujourd'hui peut devenir lisible dans deux ans ; un système lisible au déploiement peut le cesser en production, parce qu'il se réentraîne et que la règle que votre audit avait capturée n'est plus celle qui tourne. C'est pourquoi attendre une preuve après coup, à la Rudin, est doublement insuffisant : même prouvée, elle a une date de péremption. Chez moi, le test de fidélité est lié aux changements de modèle, pas au calendrier ni aux promesses du fournisseur — chaque réentraînement déclenche une re-measure, et une chute de fidélité est traitée comme un incident. Une condition à vérifier plutôt qu'un acquis : tout cela suppose qu'on obtienne les entrées/sorties et qu'on finance une équipe indépendante. C'est une condition organisationnelle, pas technique, et c'est précisément là que les fournisseurs résistent — un système dont personne ne peut tester les copies paraît plus sophistiqué sur un diaporama.

Le coût de chaque erreur, donc. Se tromper en croyant au cas banque alors que c'est l'autre : si j'ai mesuré honnêtement la fidélité, le coût est borné par la divergence connue ; si j'ai sauté la mesure, il est non borné — l'encyclopédie de Harari, c'est ce qui arrive quand le chiffre de fidélité n'a jamais été calculé et qu'on habille ce vide en procédure de recours. Se tromper dans l'autre sens, classer illisible ce qui était décomposable : coût d'opportunité, et correction peu coûteuse puisqu'il suffit de relancer le test au trimestre suivant. Il existe même un entre-deux que le refus binaire de cas d'usage interdit : dégrader l'autonomie — laisser le système préparer la décision et exiger une signature humaine sur les cas où la copie lisible et lui divergent. On obtient alors un système déployé dont les seuls cas aveugles sont précisément ceux qui sont signalés comme tels.