Le jugement ne se mesure pas sur un banc d'essai

Ce qu’une règle de notation retire, et pourquoi

Un banc d’essai est un ensemble de questions muni d’une règle de correction. Quelqu’un a choisi les questions. Quelqu’un a fixé ce qui compte pour une bonne réponse. Tout le monde a convenu d’avance que le nombre obtenu vaudrait preuve d’une capacité. L’instrument est excellent, et cette publication en dépend : sans bancs d’essai, le registre serait une liste d’impressions, et les entrées Examens professionnels et Mathématiques OIM ne pourraient porter aucune date.

Regardez maintenant ce que l’instrument retire, délibérément, pour fonctionner. Personne, aux olympiades, ne décide quels problèmes valent d’être résolus cette année-là. Personne, à l’examen du barreau, ne sera poursuivi si le client suit le conseil et perd sa maison. L’examen sépare la capacité de la position, exprès, pour que la capacité se mesure proprement. Cette séparation est toute la méthode. C’est aussi la raison pour laquelle un score, si haut soit-il, ne peut pas dire si le jugement a bougé : le jugement est précisément ce qu’on a retiré pour obtenir le nombre.

L’instrument connaît en outre ses propres difficultés, qu’il vaut mieux nommer avant de s’y appuyer. Des épreuves conçues pour tenir des années saturent en quelques mois. L’AI Index 2026 relève jusqu’à 42 % de questions invalides sur certains tests répandus, et des classements publics façonnés par des essais privés et une publication sélective des résultats.² Le même rapport résume en une ligne la forme des systèmes actuels : ils décrochent l’or aux olympiades et échouent encore à lire l’heure de façon fiable.³ Rien de tout cela n’est un argument contre la mesure. C’est un argument sur ce qu’une mesure atteste, toujours moins que ce que son titre laisse croire.

Les trois endroits qu’un score ne voit pas

Le jugement s’exerce en trois moments, et une règle de notation est aveugle aux trois par construction.

Avant la question. Quelqu’un décide que c’est cela qu’il faut demander, et que le coût de le demander vaut d’être payé. Aux olympiades, c’est un comité des problèmes. Dans les tournois de prévision de Philip Tetlock, les questions étaient rédigées par des politistes et filtrées pour tomber entre 10 et 90 % de probabilité, parce qu’une question presque certaine ou presque impossible n’apprend rien sur le prévisionniste. Tetlock savait ce que son propre instrument laissait dehors, et il l’a écrit : la prévoyance est un élément du bon jugement, « but there are others, including some that cannot be counted and run through a scientist’s algorithms », mais il en existe d’autres, dont certains ne se comptent pas et ne passent dans l’algorithme d’aucun chercheur.⁴ Ceux qui choisissent les questions font l’essentiel du travail, et rien de ce travail n’apparaît dans un score.

Au seuil. Une probabilité n’est pas une décision. Dans les jours qui ont précédé le raid d’Abbottabad, les estimations remontées au président allaient de 30 à 95 % pour la présence de Ben Laden dans la propriété. Il a dit « cinquante-cinquante » et a lancé l’opération.⁵ Ce n’est pas le nombre qui a tranché. Ce qui a tranché, c’est un jugement sur le coût des deux erreurs : donner l’assaut sur une maison vide, ou laisser passer la possibilité. Ce jugement ne s’extrait pas de l’estimation, et son absence n’est pas un défaut de l’estimation. La notation de Tetlock repose d’ailleurs sur le même geste : un score de Brier ne signifie quelque chose qu’une fois que quelqu’un a fixé, à l’avance, de combien un raté est plus grave qu’une fausse alerte. Fixer le prix des deux erreurs relève du choix des fins et non du calcul, et c’est pourquoi Choix des fins figure dans la colonne des capacités tenues.

Après coup. Quand la branche improbable se réalise, quelqu’un doit dire si la décision était mauvaise ou seulement malchanceuse. Annie Duke appelle « resulting » la confusion des deux, et c’est ainsi que les gens se jugent d’ordinaire : un prévisionniste qui annonce 30 % est déclaré dans l’erreur quand les 30 % arrivent.⁶ Les décisions assistées héritent du problème en double. Deux tentations se présentent alors : blâmer le modèle quand l’improbable survient, ou s’abriter derrière lui, le modèle disait soixante-dix pour cent. Les deux sont des façons de ne pas répondre. Reconstituer ce qui était connaissable au moment de décider, puis attribuer honnêtement le résultat, est un jugement porté sur le jugement, et aucun tableau de score ne le rend.

Pourquoi la confusion arrange tout le monde

La confusion entre capacité et position survit parce qu’elle sert tout le monde à la fois.

Elle sert l’éditeur, qui peut dire qu’un système « prend des décisions » quand le système produit des recommandations qu’une personne signe. Elle sert l’organisation, qui peut retirer la personne et garder la ligne de signature. Et elle nous épargne à tous une question fatigante : à quoi sert exactement une personne quand les réponses ne coûtent plus rien.

Il existe une réponse honnête, et elle n’est pas flatteuse. Une personne sert à répondre. C’est la position qui ne se délègue pas sans disparaître, et c’est pourquoi la colonne des capacités tenues a cette allure. Elle ne contient aucun talent. Rien n’y prétend que les humains écrivent mieux, raisonnent plus vite ou voient plus loin. Elle contient des positions : Responsabilité, Charge, le consentement, le témoignage, le choix des fins. Joseph Weizenbaum a tracé la ligne en 1976 et elle n’a pas bougé : décider est un calcul, choisir engage des valeurs, et « there is all the difference between deciding and choosing », il y a toute la différence entre décider et choisir.⁷

Julia Galef donne l’image la plus juste de ce qu’un système produit quand il produit une affirmation. Elle distingue l’attaché de presse, qui affirme, du conseil d’administration, qui parie : « The press secretary makes claims; the board makes bets. »⁸ Un modèle est structurellement un attaché de presse : fluide, calibré sur demande, sans rien en jeu. Demandez-lui une probabilité, vous obtenez un nombre. Demandez le même nombre à une personne, et vous pouvez poser une seconde question : que dirait-elle s’il s’agissait de son argent, de sa licence, de son nom au bas du document. C’est la seconde question qui coûte quelque chose.

L’arrangement à éviter

Entre les deux positions nettes, garder une personne pour la position ou accepter la sortie de la machine pour ce qu’elle vaut, il en existe une intermédiaire qui cumule les inconvénients des deux. On garde la personne « dans la boucle » pour la forme : assez présente pour être blâmée, assez absente pour n’avoir aucune prise réelle.

Ce n’est pas une hypothèse d’école. Madeleine Clare Elish a nommé ce mode de défaillance après avoir étudié des accidents liés à l’automatisation : la zone de déformation morale, où « responsibility for an action may be misattributed to a human actor who had limited control over the behavior of an automated or autonomous system », où la responsabilité échoit à l’humain qui n’avait qu’une prise limitée sur le système, ce qui préserve l’intégrité du dispositif technique aux dépens de l’opérateur le plus proche.⁹ Lisanne Bainbridge en avait expliqué le mécanisme quarante ans plus tôt : le concepteur laisse à l’opérateur exactement les tâches qu’il n’a pas su automatiser, puis lui retire la pratique quotidienne qui lui permettrait de les accomplir.¹⁰

L’arrangement a désormais été mesuré. Dans une étude randomisée de raisonnement diagnostique sur cas écrits, le modèle seul obtient 92 % sur la grille, les médecins avec leurs ressources habituelles 74, et les médecins équipés du modèle 76 (Diagnostic médical).¹¹ Relisez le troisième chiffre. Ce n’est pas la machine qui a échoué, c’est l’attelage : les médecins ont gardé leur autorité et gagné un assistant, et la combinaison fait à peine mieux que les médecins seuls, très loin derrière la machine seule. Quoi qu’ait été cet arrangement, ce n’était pas chacun faisant ce qu’il fait le mieux.

Le droit commence à décrire ce qu’exige une position véritable, ce qui fournit un test commode pour n’importe quel processus. Le règlement européen sur les systèmes à haut risque demande que la surveillance soit exercée par des personnes qui comprennent les capacités et les limites du système, qui restent conscientes du biais d’automatisation, qui peuvent écarter la sortie et interrompre la machine.¹² C’est la différence entre tenir une position et porter la faute.

Ce que cela change en pratique

Là où un processus demande une capacité, mesurez-la. Laissez le banc d’essai faire son travail, et laissez le registre consigner honnêtement le déplacement d’une ligne, avec sa date et sa source. Il n’y a aucune dignité à prétendre qu’une tâche n’a pas été cédée.

Là où un processus demande une position, gardez une personne et donnez-lui les moyens : le temps de contredire, l’information pour contredire, et l’autorité d’arrêter le processus. Une signature obtenue de quelqu’un qui ne pouvait pas refuser n’est pas une surveillance, c’est une formalité.

Et surveillez l’entrée Autonomie longue, qui est contestée et qui éprouvera le plus durement la distinction tracée ici. Un système capable de mener une tâche pendant des heures ou des jours se verra confier la position avec elle, parce qu’il paraîtra absurde d’interrompre quelque chose qui travaille sans surveillance depuis mardi. Le registre dira quand la capacité aura bougé, et la mesure s’affine : le doublement se compte désormais en mois plutôt qu’en années.¹³ Il ne dira pas que la position a bougé avec elle, parce qu’un banc d’essai ne peut pas l’attester, et n’a jamais pu. Il est construit en retirant précisément ce qu’il faudrait attester : qui a posé la question, ce que coûte l’erreur, et qui répondra le matin où l’improbable arrive.

Il existe dans la colonne des capacités tenues une ligne pour Jugement moral, et elle n’y restera peut-être pas toujours. Si elle bouge, ce sera avec une date et une source, non avec une phrase écrite la semaine qui suit une médaille d’or.

Notes

1. Un modèle Gemini Deep Think avancé a obtenu 35 points sur 42 aux OIM 2025, niveau médaille d’or, noté par les coordinateurs des olympiades (Google DeepMind, 21 juillet 2025). OpenAI a annoncé le même score pour un modèle expérimental quelques jours plus tôt, noté par d’anciens médaillés et non par l’OIM. Cinq candidats humains ont obtenu 42 sur 42 cette année-là. ↩

2. Stanford HAI, AI Index 2026 : « Evaluations intended to be challenging for years are saturated in months » ; problèmes de fiabilité et de jeu avec le classement, « with error rates up to 42% on widely used evaluations ». Sur la distorsion des classements, Singh et al., « The Leaderboard Illusion », 29 avril 2025, documente les variantes privées testées avant publication et des gains jusqu’à 112 % par surapprentissage d’une arène. ↩

3. Stanford HAI, AI Index 2026 : « AI models can win a gold medal at the International Mathematical Olympiad but still can’t reliably tell time, illustrating what researchers call jagged intelligence. » ↩

4. Philip E. Tetlock et Dan Gardner, Superforecasting (2015), chapitre 12. Sur la sélection des questions dans les tournois du Good Judgment Project, voir le même chapitre, et Tetlock, Expert Political Judgment (2005), chapitre 1, sur le test de clairvoyance. ↩

5. Superforecasting, chapitre 3, sur les estimations présentées avant le raid d’Abbottabad et le « fifty-fifty » présidentiel. Tetlock y lit soit un défaut d’agrégation, soit un raccourci d’exécutif dont le seuil d’action était déjà franchi. ↩

6. Annie Duke, Thinking in Bets (2018), chapitre 1, sur le « resulting ». Sur le fait de juger une décision d’après ce qui était connaissable au moment de la prendre, voir Howard Marks, The Most Important Thing (2011), chapitre 16. ↩

7. Joseph Weizenbaum, Computer Power and Human Reason (1976), p. 259. ↩

8. Julia Galef, The Scout Mindset (2021), chapitre 6. ↩

9. Madeleine Clare Elish, « Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction », Engaging Science, Technology, and Society, 2019. ↩

10. Lisanne Bainbridge, « Ironies of Automation », Automatica 19(6), 1983. ↩

11. Goh et al., JAMA Network Open, 28 octobre 2024 : 50 médecins, cas écrits ; le modèle seul à 92 % sur une grille de raisonnement diagnostique, les médecins avec leurs ressources habituelles à 74, les médecins équipés du modèle à 76. ↩

12. Règlement (UE) 2024/1689, article 14, sur la surveillance humaine des systèmes à haut risque : comprendre les capacités et les limites, rester conscient du biais d’automatisation, pouvoir écarter la sortie et interrompre le système. ↩

13. METR, Time Horizon 1.1, 29 janvier 2026 : la longueur de tâche logicielle qu’un modèle accomplit une fois sur deux double environ tous les sept mois depuis 2019, et tous les quatre mois environ depuis 2024, avec de larges intervalles de confiance et un jeu de tâches surtout logicielles. ↩