GOUVERNANCE

CIO.com le 3 septembre 2026 : le vrai risque n'est pas l'absence d'humain dans la boucle, c'est son usure — le test en 3 questions, et où se situe AppH

Le 3 septembre 2026, CIO.com a publié « When AI's human in the loop really isn't », de Grant Gross : au-delà du problème déjà connu du bouton d'approbation cosmétique, l'article pointe un second risque, plus insidieux — la fatigue de décision. Quand un agent a raison 95 % du temps, la vigilance humaine s'érode et la validation devient une formalité. L'article propose un test concret en trois questions pour distinguer un vrai contrôle humain d'un tampon automatique ; voici comment le gate d'approbation d'AppManager y répond, sans se cacher derrière des adjectifs.

Selon Grant Gross (CIO.com, 3 septembre 2026), la critique du « human-in-the-loop » superficiel ne s'arrête pas à l'absence de contrôle réel — Doug Shepherd (Cloudflare) décrit le cas le plus courant comme un humain « adjacent à la boucle » : il peut voir et signaler, mais pas réellement arrêter l'action. L'article va plus loin avec un deuxième problème, distinct et tout aussi réel : la fatigue de décision. Eric Billingsley (TrustScale) le formule sans détour : « Si le système a raison 95 % du temps, le travail de la personne devient d'attendre le cas rare où il a tort. Les humains ne sont pas particulièrement doués pour la vigilance soutenue... Avec le temps, la revue devient une confirmation. » Robert Blumofe (CTO d'Akamai) confirme : la diligence s'effrite, et le human-in-the-loop se transforme en approbation machinale — sa recommandation est d'ajouter, en plus de l'humain, des garde-fous non-IA capables de mettre en pause le travail de l'agent automatiquement, sans attendre un clic. Darren Kimura (AISquared) résume le test qui sépare un vrai contrôle d'une simple observation en trois questions : le réviseur peut-il arrêter l'action avant qu'elle ne prenne effet ? Peut-il modifier le résultat ? Ses décisions sont-elles enregistrées et réellement appliquées en aval ? Si la réponse à l'une de ces questions est non, prévient Kimura, l'humain ne fait que surveiller l'IA — il ne la contrôle pas.

Sur les trois questions de Kimura, le gate d'approbation d'AppManager répond clairement oui aux trois. Peut-on arrêter l'action avant qu'elle ne prenne effet ? Oui — aucune action d'agent à conséquence réelle ne s'exécute sans validation explicite du propriétaire ou d'un admin dans le module Automations, ce n'est pas une alerte informative qu'on peut ignorer. Peut-on la modifier ou la rejeter ? Oui, dans la même interface. L'override est-il enregistré et appliqué en aval ? Oui — chaque décision (approuvée, modifiée, rejetée) laisse une entrée dans le journal d'audit par acteur et par module, consultable après coup. Sur la fatigue de décision, en revanche, AppH ne prétend pas y échapper par magie — c'est un risque réel, y compris pour nous. Notre réponse n'est pas de compter sur la vigilance éternelle du propriétaire, mais de borner par construction le nombre de décisions qui lui arrivent : seules les actions genuinement conséquentes (approuver une dépense, envoyer une relance à un client, confirmer un remboursement) déclenchent le gate — pas chaque micro-étape de l'agent. Le volume reste bas par conception, pas par discipline humaine. Ce qu'AppH n'a pas encore, honnêtement : le garde-fou non-IA additionnel que recommande Blumofe, capable de mettre en pause un agent indépendamment du clic humain lui-même — aujourd'hui, le gate d'approbation EST le seul garde-fou.

Ce qui nous a marqués dans cette pièce, c'est qu'elle refuse la réponse facile. Beaucoup d'articles sur le human-in-the-loop s'arrêtent au premier problème — le bouton qui ne bloque rien — et s'arrêtent là, satisfaits d'avoir un garde-fou technique. CIO.com pointe un second problème qui survit même quand le premier est résolu : un contrôle qui bloque vraiment peut quand même s'user avec le temps, si la personne qui l'exerce finit par approuver sans regarder. On ne va pas prétendre qu'AppH y est immunisé — ce serait exactement le genre d'adjectif sans preuve que cette pièce critique. Ce qu'on peut dire honnêtement, c'est que notre réponse n'est pas de demander au propriétaire d'être vigilant pour toujours, c'est de limiter par construction ce qu'il doit regarder à ce qui compte vraiment. Et sur le garde-fou non-IA que recommande Blumofe, on n'en a pas encore — c'est noté, pas caché.

Vérifié par un humain d'AppH