Un agente de IA puede "tener éxito" en su tarea y aun así producir el resultado equivocado — la supervisión clásica no lo detecta
Publicado el 7 de septiembre de 2026 por Callum Turner en TheNextWeb («AI agent reliability requires a new model of observability»), el artículo recoge las declaraciones de Robert Hommes, fundador de la startup de observabilidad Moyai: un agente puede hacer una solicitud válida, recibir una respuesta válida, y aun así tomar la decisión equivocada — la infraestructura técnica registra un éxito mientras la empresa sufre un fallo real, un punto ciego que las herramientas de supervisión clásicas, pensadas para sistemas deterministas y códigos de error conocidos, simplemente no pueden ver.
El punto de partida de Hommes es concreto, no teórico: «El caso más peligroso es un agente de IA que completa una tarea con éxito mientras produce en realidad el resultado equivocado.» Pone el ejemplo de un agente de compras encargado de adquirir un tipo específico de grano de café — la solicitud sale, la respuesta llega, la tarea se cierra como exitosa, pero «desde la perspectiva del negocio, el agente está produciendo sistemáticamente el resultado equivocado». La misma lógica aparece en el ejemplo de una aerolínea que cita el artículo: un agente le dice a un pasajero varado que su vuelo fue reprogramado, la reserva subyacente en realidad nunca se concretó, y el pasajero solo lo descubre al llegar al aeropuerto. «No tenemos un código de error que diga: "llegué al endpoint, lo consulté con el parámetro equivocado, y recibí algo distinto de lo que necesitaba." Técnicamente nada falla, pero no funciona», resume Hommes — un código 200 puede así ocultar tanto una decisión inválida como una correcta.
El punto más útil del artículo, para nosotros, no es la descripción del problema — es el límite honesto que el propio Hommes señala en su posible solución. Reconoce el valor de las arquitecturas human-in-the-loop, que obligan a un empleado a aprobar una acción con consecuencias reales — exactamente el principio sobre el que está construido AppManager desde su primer módulo. Pero agrega un matiz que no se puede ignorar: «Una vez que tienes un impacto material, lo ves, pero ya es demasiado tarde [...] tuvo que empeorar antes de que lo notaras.» Su propuesta —detectar primero qué es diferente del comportamiento habitual, y solo después verificar si es realmente un problema, en vez de acumular una regla por cada nuevo fallo ya observado (lo que él llama "whack-a-mole")— ataca un problema distinto y más difícil que la simple aprobación humana de una acción ya identificada como riesgosa.
Para AppH
- El artículo le pone nombre preciso a un principio que AppH ya aplica sin llamarlo así: un recorrido técnico sin errores no garantiza un resultado de negocio correcto — por eso una automatización de AppManager nunca se cierra sola, un humano confirma el resultado real, no solo la ausencia de una excepción.
- El clic de aprobación obligatorio de AppManager antes de cualquier acción con consecuencias reales es exactamente el tipo de arquitectura human-in-the-loop que Hommes cita como una protección real y útil — validado aquí por un experto del sector sin ninguna relación con AppH.
Contra / el límite honesto
- La propia crítica de Hommes al human-in-the-loop aplica en parte también a AppH: una pantalla de aprobación vale lo que vale el resumen que una automatización muestra antes del clic — AppH no tiene hoy una capa dedicada de detección de anomalías de comportamiento como la que propone Moyai, solo supervisión humana explícita sobre las acciones que nosotros mismos definimos como consecuentes.
- Robert Hommes es fundador de Moyai, una startup que vende precisamente la categoría de producto de observabilidad que describe como faltante — un argumento creíble y bien sustentado, pero también el de un fundador explicando por qué el mercado necesita lo que su empresa vende.
Lo que nos detuvo en esta pieza no fue la advertencia general sobre agentes de IA —de esas leemos muchas— fue la frase sobre el código 200. Un sistema que responde correctamente a una solicitud mal planteada no le señala nada anormal a quien lo supervisa de la forma clásica. Por eso, en AppH, nunca aceptamos que una automatización se cierre sola sin que un humano confirme el resultado real. Dicho esto, Hommes tiene razón al señalar que la aprobación humana por sí sola tiene su propio límite —protege la acción que pensamos en hacer aprobar, no la que no identificamos como riesgosa a tiempo. No pretendemos tener esto resuelto: AppH no cuenta hoy con detección de anomalías de comportamiento como la que describe Hommes, solo supervisión humana explícita sobre lo que nosotros mismos definimos como una acción consecuente. Decirlo con claridad nos parece más útil que dejar creer que el clic de aprobación resuelve todo, por sí solo, para siempre.
Verificado por un humano de AppH