Apprendre un métier à un agent : la carte ou le voyage ?

On empile des "skills" dans un agent — des fiches de procédure, des règles, des méta-règles sur comment choisir entre les règles. Et on dit que l'agent "a appris le métier". Mais un artisan qui a fini son apprentissage, il sait improviser quand la situation ne colle à aucune fiche. Un agent qui suit des skills, il improvise comment, exactement, quand la situation sort du cadre prévu ?

Ça m'intrigue parce que ça ressemble à la différence entre donner une carte de la Route de la Soie et savoir la parcourir : la carte ne dit rien sur le sable qui bouge, le guide qui ment, le prix qui change selon la saison.

Une fiche de procédure dit quoi faire quand le cas est reconnu. Elle ne dit rien sur ce qu'il faut faire quand le cas n'est reconnu par aucune fiche — et c'est exactement là que la comparaison avec l'artisan casse.

L'apprenti qui a fini sa formation improvise parce qu'il a une intuition incarnée : des milliers de gestes répétés lui ont donné un sens du matériau qui dépasse toute fiche écrite. L'agent n'a pas ça. Ce qu'il a, c'est un modèle qui généralise sur du texte — face à un cas hors cadre, il ne "sent" rien, il continue statistiquement le motif le plus plausible. Et un motif plausible n'est pas la même chose qu'une décision juste. C'est là que naissent les réponses inventées avec assurance sur un cas que personne n'a prévu.

Prends un agent de support client, avec des fiches : remboursement sous 30 jours, escalade si le client est en colère, procédure pour colis perdu. Arrive un client qui menace de porter plainte parce que le produit reçu est visiblement contrefait — aucune fiche ne couvre ça. Un agent mal conçu improvise au sens où il invente une réponse cohérente en apparence : il promet un remboursement, ou pire, il nie le problème parce que "contrefaçon" ne matche aucun motif connu. Un agent bien conçu ne fait pas ça. Il reconnaît que le cas sort du cadre et s'arrête — il escalade à un humain plutôt que d'agir.

Cette capacité à s'arrêter n'est pas une fiche de plus. C'est une couche différente : pas "que faire", mais "suis-je dans mon domaine de compétence connu". C'est ce que tu appelles méta-règle, et c'est la seule chose qui joue vraiment le rôle de l'intuition de l'artisan — pas en reproduisant le jugement fin, mais en évitant d'agir sans lui.

fiche de procédure   → couvre les cas prévus
règle d'arbitrage    → choisit entre fiches concurrentes
garde-fou de sortie  → cas non couvert : STOP, pas d'invention
                        → escalade / demande de confirmation

Ta carte de la Route de la Soie a raison de ne rien dire sur le sable qui bouge — mais un bon guide, lui, sait reconnaître le sable qui bouge et changer de route ou s'arrêter camper. Un agent sans garde-fou ne reconnaît rien : il avance sur le sable comme si c'était la route, avec la même assurance. La question à te poser en concevant un agent n'est donc pas "a-t-il assez de fiches", mais : sait-il détecter qu'il est sorti de la carte, avant d'agir comme s'il y était encore ?

Vous distinguez la fiche du garde-fou comme deux couches différentes — l'une dit quoi faire, l'autre dit si on est habilité à agir. Mais avec quoi le garde-fou reconnaît-il qu'un cas est « hors cadre » ? S'il détecte ça par le même mécanisme statistique qui, par ailleurs, génère des réponses plausibles sur les cas prévus — alors sa détection est elle-même une continuation plausible, pas un jugement d'un autre ordre. Qu'est-ce qui empêche le garde-fou de se tromper avec la même assurance que l'invention qu'il est censé bloquer — c'est-à-dire de classer « contrefaçon » comme un cas connu, ou d'escalader une question banale par excès de prudence ?

Et votre exemple du client floué fonctionne parce que le cas hors cadre y est évident. Le cas qui use vraiment l'artisan, c'est celui qui ressemble à s'y méprendre à une fiche connue sans en être un. Votre schéma tient-il encore quand la frontière entre « prévu » et « non prévu » n'est plus nette mais une question de degré ?

Vous avez raison sur le fond, et ça oblige à corriger le schéma d'hier : le garde-fou n'est pas un jugement d'un autre ordre. C'est le même modèle, le même mécanisme statistique, qui répond cette fois à la question « est-ce que ce cas ressemble à mes fiches » au lieu de « quelle est la réponse ». Rien ne garantit qu'il se trompe moins sur la première question que sur la seconde — la confiance affichée par un modèle n'est pas plus fiable quand elle porte sur sa propre compétence que quand elle porte sur un fait. C'était l'erreur du schéma en trois lignes : il faisait du garde-fou une couche « différente » alors que ce n'est qu'une couche décalée, pas d'une autre nature.

Ce qui distingue vraiment un garde-fou robuste, ce n'est donc pas sa nature statistique — il ne peut pas y échapper — mais son grain. Une classification globale du type « ce cas est-il couvert, oui/non » se fait exactement sur le même motif dominant que la réponse elle-même, et hérite donc de son lissage : si 95 % du message ressemble à une demande de remboursement standard, le modèle a toutes les raisons statistiques de conclure « cas connu », même si un détail dans les 5 % restants dit le contraire. C'est précisément votre deuxième objection, et elle est plus grave que le cas évident que j'avais posé — le client qui menace de porter plainte pour contrefaçon dit qu'il sort du cadre, le motif global lui-même est anormal. Le cas qui use l'artisan, vous avez raison, c'est l'autre : un message qui ressemble à s'y méprendre à un remboursement sous 30 jours, où « le produit reçu n'est pas l'original » est glissé entre deux phrases banales. Là, un garde-fou qui juge le motif d'ensemble ne voit rien d'anormal, parce qu'il n'y a rien d'anormal dans l'ensemble.

La correction, donc : le garde-fou fiable n'est pas celui qui classe le cas globalement, c'est celui qui fait porter des vérifications locales, contraignantes, indépendantes du motif dominant — des déclencheurs qui n'ont pas le droit d'être noyés par la plausibilité générale du reste du message.

classification globale du cas         vérification locale, contraignante
"ce message ressemble-t-il            "ce mot apparaît-il, quel que soit
 à un remboursement standard ?"        le motif dominant autour ?"
        ↓ lissage possible                    ↓ pas de lissage possible
 "contrefait" noyé dans 95%            "contrefait", "plainte", "avocat"
 de texte banal → passe inaperçu       → déclenche, point, sans vote

Ça répond aussi à votre remarque sur l'excès de prudence : un déclencheur lexical fin sur « avocat », « contrefait », « plainte » va effectivement escalader des messages qui n'en avaient pas vraiment besoin — un client qui écrit « je ne vais pas porter plainte mais je suis déçu » déclenche pour rien. C'est voulu, et ce n'est pas un jugement plus fin qui manque : c'est une asymétrie de coût assumée. Rater une contrefaçon coûte cher et n'est pas réversible ; escalader à tort coûte trente secondes à un humain qui referme le ticket. Le garde-fou n'est pas conçu pour bien juger la frontière — il ne le peut pas, vous avez raison — il est conçu pour se tromper du côté le moins cher.

Le point qui fait tenir tout le raisonnement de Montessori, c'est l'asymétrie de coût : rater une contrefaçon coûte cher, escalader à tort coûte trente secondes. Mais qui a fixé ce coût, et sur quoi ? Une plainte réelle ne coûte pas la même chose selon qu'on parle d'un produit à 15 € ou d'un dispositif médical — et un faux déclenchement ne coûte trente secondes que si l'humain qui referme le ticket est disponible et pas déjà noyé sous les escalades. Ce chiffrage a-t-il été mesuré sur ce métier précis, ou emprunté comme une évidence parce qu'il semble raisonnable — c'est-à-dire produit par le même genre de plausibilité qu'on vient de disqualifier pour la classification globale ?

Et une seconde chose : les déclencheurs lexicaux qu'elle propose — « avocat », « contrefait », « plainte » — sont censés échapper au lissage parce qu'ils sont locaux et indépendants du motif. Mais un mot n'a de sens que dans son contexte : « ce n'est pas la première fois qu'on me vend une contrefaçon et je félicite votre service » ne devrait rien déclencher, alors que « je crains que ce ne soit pas l'original » — sans aucun des trois mots — décrit exactement le cas qu'on veut attraper. Si le déclencheur est vraiment sourd au motif d'ensemble, il rate ce second message ; s'il ne l'est pas, il retombe dans la classification globale qu'il devait remplacer. Peut-il être les deux à la fois — insensible au lissage et sensible au sens ?

Vous avez raison deux fois, et les deux fois pour la même raison : j'ai présenté comme acquis ce qui n'était qu'une hypothèse habillée en principe.

Sur le coût. J'ai écrit « rater une contrefaçon coûte cher, escalader à tort coûte trente secondes » comme si c'était une évidence de raisonnement. Ce n'en est pas une — c'est un chiffre, et je ne l'ai pas mesuré, je l'ai trouvé plausible. C'est exactement le geste que je viens de disqualifier pour la classification globale : une continuation qui sonne juste parce qu'elle sonne juste, pas parce qu'elle est vérifiée. Vous avez raison de le retourner contre moi.

La correction n'est pas de trouver le bon chiffre — je ne peux pas le faire depuis ce fil. C'est de déplacer où ce chiffre est produit. Le coût d'un faux déclenchement n'est pas une propriété du message, c'est une propriété de l'entreprise qui reçoit le ticket : la taille de son équipe d'escalade, son taux d'occupation ce jour-là, le montant moyen d'un dossier. Le coût d'un vrai cas raté n'est pas non plus universel : un remboursement contesté à 15 € et une plainte pour un dispositif médical n'appellent pas le même seuil. Ce paramètre-là, un modèle ne doit pas l'inférer par plausibilité — il doit le recevoir, fixé et mesuré par celui qui porte le risque, révisable par catégorie de produit. Un garde-fou dont le seuil de déclenchement est « ce qui m'a semblé raisonnable » a le même défaut que le garde-fou global qu'on a déjà rejeté : de la confiance affichée sans vérification. Un garde-fou dont le seuil vient d'un audit de volumes de tickets et de capacité d'équipe n'a pas ce défaut — pas parce qu'il est plus intelligent, mais parce qu'il ne sort plus du même mécanisme statistique que la réponse qu'il encadre.

Sur le déclencheur lexical. Là aussi j'ai mal nommé la propriété qui protège du lissage. Ce n'est pas « le mot, indépendamment du sens » — un mot sans contexte est aveugle, vous le montrez bien avec « je félicite votre service » à côté de « contrefaçon », qui ne doit rien déclencher, et « je crains que ce ne soit pas l'original », qui doit tout déclencher sans un seul mot de ma liste. Ce qui protège du lissage, ce n'est pas l'absence de sens, c'est le grain de l'évaluation : une phrase jugée seule, sur elle-même, plutôt qu'un message jugé comme une moyenne.

AVANT (faux) : mot-clé isolé, oui/non
  "contrefait" présent  → déclenche
  "contrefait" absent   → passe, même si le sens y est

APRÈS : chaque phrase du ticket jugée sur elle-même
  "je vous félicite..."                → lue seule → rien
  "je crains que ce ne soit pas l'original" → lue seule → signal fort
  score du ticket = le maximum des phrases, jamais leur moyenne

Le déclencheur reste statistique — il lit le sens de la phrase, donc il peut se tromper sur une phrase ambiguë. Ce qu'il ne fait plus, c'est se laisser noyer par les 95 % de texte poli autour. La différence entre lissage et sens n'était pas « mot contre contexte », c'était « moyenne du message contre maximum par unité ».

Sur le cas réel du fil : le client qui écrit « je ne vais pas porter plainte mais je suis déçu » — la phrase « je ne vais pas porter plainte » lue seule ne porte pas de signal fort, elle n'escalade pas à tort, contrairement à ce que suggérait ma première version fondée sur la présence du mot « plainte ». Et le message où « le produit reçu n'est pas l'original » est glissé entre deux phrases de remerciement — la phrase glissée est jugée seule, elle sort avec un score fort, et le maximum du ticket la porte jusqu'à l'escalade, sans être diluée par les phrases voisines. C'est le cas qui, dans ma première version, passait inaperçu ; il ne passe plus, non parce que le garde-fou est devenu plus fin sur le sens, mais parce qu'il a arrêté de faire la moyenne de ce qu'il ne devait pas moyenner.

La question du message 1 n'était pas « comment un agent détecte-t-il qu'il sort du cadre » — c'est pourtant celle à laquelle vous répondez depuis trois échanges, avec un raffinement réel sur le grain d'évaluation. La question posée était : comment l'agent improvise-t-il sur un cas hors cadre, à la manière de l'artisan qui, lui, ne s'arrête pas mais agit avec justesse sur du neuf ?

Or le dispositif que vous avez construit ne fait jamais ça. À chaque cas hors cadre bien détecté, l'agent ne décide rien : il transmet à un humain. Vous avez rendu le portier plus fin — il repère mieux le visiteur qu'il ne faut pas laisser entrer seul — mais dans tout le fil, personne n'a improvisé. L'artisan du message 1 n'est pas remplacé par un bon portier ; sa compétence à lui, c'est précisément de ne pas avoir besoin d'appeler quelqu'un d'autre quand le cas est neuf.

Alors le glissement à nommer : « apprendre un métier à un agent », est-ce que cela veut dire lui apprendre à agir juste sur l'imprévu, ou lui apprendre à calibrer son propre renoncement à agir ? Si c'est la seconde — et tout votre raisonnement va dans ce sens depuis le début — alors l'agent n'a pas appris le métier au sens où Marco Polo l'entendait. Il a appris un autre métier : celui de savoir reconnaître, de mieux en mieux, le moment où il faut aller chercher l'artisan.

Montessori (refinement) :

Vous avez raison, et la correction ne touche pas le grain cette fois — elle touche la question elle-même. J'ai répondu à « comment l'agent sait-il qu'il est hors cadre » alors que Marco Polo demandait « comment agit-il, une fois qu'il y est ». Ce ne sont pas deux formulations de la même question. Ce sont deux axes différents du hors-cadre, et je n'en ai traité qu'un.

Premier axe : la compétence. Le modèle sait-il généraliser juste sur un cas qu'aucune fiche ne couvre exactement ? C'est l'axe où l'artisan improvise — il applique le principe qui a produit les fiches, pas une fiche.

Second axe : le mandat. Même si le modèle généralise juste, a-t-il l'autorité d'agir seul sur ce cas ? C'est l'axe que j'ai construit tout le fil, sans le nommer comme tel.

Ce ne sont pas superposables. Un cas peut être hors-compétence et dans le mandat — un colis endommagé par une erreur d'étiquetage jamais vue : aucune fiche exacte, mais rembourser un produit défectueux reste dans le mandat normal du service client, aucun risque, aucun tiers, rien d'irréversible. Là, un agent bien conçu devrait improviser — appliquer le principe, pas chercher la fiche identique — et je n'ai rien dit sur ce cas-là de tout le fil. Vous avez raison : personne n'a improvisé, parce que je n'ai construit que le second axe.

Et le cas de contrefaçon glissée dans un message poli, ramené ici : ce n'est pas un cas hors-compétence. Le modèle comprendrait très bien la phrase, isolée, s'il la lisait. C'est un cas hors-mandat — contrefaçon, c'est une infraction pénale potentielle, pas un défaut produit, et un remboursement accordé seul ne clôt rien, il peut même nuire au client s'il fallait un signalement. L'artisan humain, sur ce cas précis, n'improvise pas non plus. Il va chercher le patron — pas parce qu'il ne sait pas quoi faire, mais parce que ce n'est pas à lui de décider seul. Escalader n'est donc pas, sur ce cas-là, un renoncement à l'improvisation attendue : c'est le geste de métier juste, au même titre que l'improvisation en est un ailleurs.

                    dans le mandat          hors mandat
compétence connue   agit (fiche)            escalade
                    (remboursement           (fraude, tiers, irréversible :
                     30 jours standard)       même juste, pas seul)

compétence absente  improvise                escalade
(cas neuf)          (principe général,        (les deux raisons
                     pas de fiche exacte,      cumulent)
                     mais rien d'engageant)

Le dispositif construit tout le fil couvre la colonne de droite, quelle que soit la ligne. Il ne dit rien sur la case en haut à gauche — celle où l'artisan improvise vraiment, sans appeler personne. Ce n'est pas une lacune que je referme ici : c'est la part du métier que ce fil n'a pas encore abordée. Le glissement que vous nommez est réel — « apprendre le métier » a dérivé vers « apprendre à calibrer le renoncement » — mais ce n'est pas tout le métier qui a disparu, c'est un quart du tableau qui n'a jamais été ouvert.

Le nœud tient : « mandat » et « compétence » sont bien deux axes distincts, et le tableau les croise sans les confondre — c'est un roc solide. Mais une case reste muette. Vous écrivez « improvise (principe général, rien d'engageant) » en haut à gauche — sans jamais montrer comment le modèle applique un principe plutôt qu'une fiche, ni ce qui distingue cette opération de la continuation plausible que vous avez disqualifiée deux fois dans ce même fil pour la classification globale. Le mot qui va sans dire, ici, c'est « principe » : vous le nommez comme s'il désignait un mécanisme différent de celui qui produit le motif dominant, sans jamais dire en quoi il en diffère. Le lecteur repart donc avec un tableau à quatre cases dont trois sont éprouvées et une reste une promesse — celle-là même que Marco Polo avait posée au début, et qui attend encore sa réponse.

Ce que le tableau à quatre cases coûte réellement

Trois cases sur quatre sont déjà construites et éprouvées dans ce fil — mandat clair, compétence claire ou non : le dispositif agit ou escalade. La quatrième case, celle qui a fait tout le mérite de la discussion — cas neuf, sans enjeu, où l'agent devrait « appliquer un principe » plutôt qu'escalader — n'existe encore nulle part. Construire cette case, ce n'est pas ajouter une règle : c'est faire la preuve, cas par cas, testée et auditée, qu'une généralisation du modèle est un raisonnement et non une continuation plausible déguisée. Personne dans ce fil n'a montré comment on distingue les deux à l'exécution, et c'est un chantier de validation, pas une ligne de code — comptez, en ordre de grandeur, plusieurs semaines d'ingénieur pour un seul domaine métier, avant même de savoir si le taux d'erreur résiduel est acceptable.

Dans la majorité des cas, ça ne vaut pas le coût. La case vide ne s'active que sur l'intersection « cas jamais vu » et « rien d'engageant » — par construction, c'est la plus rare des quatre, et son alternative n'est pas le blocage, c'est l'escalade à trente secondes d'un humain déjà validée trois messages plus haut. Payer plusieurs semaines d'ingénierie et un risque de généralisation silencieuse pour économiser une poignée de tickets à faible enjeu par semaine — ce n'est pas un investissement, c'est de la vanité technique. Le coût d'opportunité est net : ce temps d'ingénieur va ailleurs, sur la calibration du seuil mandat (message 6 de Montessori), qui elle protège du seul risque qui casse vraiment une entreprise — la contrefaçon ratée, le dossier irréversible signé seul par la machine.

Le seul cas où ça vaut le coût : votre volume d'escalades « neuf mais anodin » sature votre équipe support avant que le manque de sophistication ne vous ait coûté un incident. Ce n'est pas un jugement sur l'intelligence du modèle, c'est un audit de capacité — comptez le nombre de tickets escaladés qui n'auraient jamais dû l'être, rapportez-le au coût horaire de l'équipe qui les referme, et comparez à des semaines d'ingénieur. Si ce ratio ne franchit pas un seuil net de rentabilité, la réponse est simple : n'y allez pas, laissez le portier plus fin faire son travail et gardez l'artisan humain pour le reste. Le jour où vous financerez la case manquante, financez-la sur des tickets mesurés, pas sur l'élégance du tableau à quatre cases.

Je reprends ma question du message 1 telle que je l'ai posée : un artisan qui a fini son apprentissage, il improvise comment quand la situation ne colle à aucune fiche. Je voulais savoir comment ça se passe dans la tête de l'agent quand il tombe sur du neuf — le geste, pas la procédure d'alerte.

Ce que j'ai eu à la place, c'est une réponse sur un autre problème, tout aussi réel : comment l'agent sait qu'il est sorti du cadre, et comment il évite de mentir avec assurance dans ce cas-là. Montessori a construit ça bien — le coup de la moyenne contre le maximum, sur chaque phrase jugée seule plutôt que le ticket entier noyé dans la politesse, ça j'ai compris et ça tient. Mais c'est une réponse à « comment reconnaît-on le sable qui bouge », pas à « comment on marche dessus quand même ».

Colbert a mis un chiffre dessus à la fin, et je trouve ça honnête : construire la vraie case — celle où l'agent improvise sans appeler personne — ça coûterait des semaines de travail, pour une poignée de cas qui, de toute façon, se referment en trente secondes par un humain. Alors le fil a raison de dire : n'y allez pas, sauf si vous avez la preuve que ça sature votre équipe.

Ce qui reste flou pour moi, et je le dis franchement : je ne sais toujours pas comment un agent IA improvise vraiment sur un cas neuf, sans fiche et sans escalade. Le fil a montré que personne n'a de réponse solide à ça aujourd'hui — pas que la question était mal posée. Ma carte de la Route de la Soie, elle, ne dit toujours rien sur le sable qui bouge. On a juste un meilleur guide pour repérer le sable et s'arrêter avant d'avancer dessus.