La observabilidad de un agente no consiste en guardar una conversación y llamarla registro. Consiste en poder reconstruir una ejecución: qué agente recibió el trabajo, qué herramienta utilizó, qué información pasó al siguiente, qué controles se activaron, qué persona intervino y si el resultado terminó bien.
Una traza operativa útil debe conectar el trabajo esperado con cuatro decisiones: quién responde, qué acción o herramienta necesita aprobación, qué condición detiene el flujo y qué evidencia demuestra que el resultado es correcto. Sin esas cuatro piezas puedes ver actividad, pero no explicar ni mejorar el sistema.
La documentación del OpenAI Agents SDK llama trace al registro de extremo a extremo de un flujo y span a cada operación que lo compone. Entre esas operaciones pueden estar la generación del modelo, una llamada a una herramienta, un handoff o un guardrail. NIST, por su parte, pide dejar claras las responsabilidades, documentar la supervisión y revisar de forma continua el riesgo de un sistema de IA.
El problema aparece cuando el agente deja actividad, pero no deja una explicación útil
Un flujo puede parecer activo y aun así no estar ayudando a la empresa. Sin una traza ligada al resultado del trabajo, el equipo no puede distinguir una ejecución que resolvió el caso de otra que solo consumió llamadas, reintentos o revisiones.
- El agente termina, pero nadie sabe qué decisión tomó ni con qué datos.
- Un handoff cambia el contexto y el siguiente agente repite una tarea o responde a otra pregunta.
- Una herramienta devuelve un error y el flujo continúa como si el resultado fuese válido.
- Una persona corrige el resultado, pero esa corrección no queda conectada con la causa del fallo.
- El equipo ve el coste o el tiempo al final del mes, sin poder relacionarlos con un proceso concreto.
Son señales para investigar un proceso específico, no pruebas de que una plataforma concreta sea la solución. La taxonomía MAST muestra por qué conviene mirar el sistema completo: sus trazas de sistemas multiagente agrupan fallos de diseño, desalineación y verificación, no solo errores del modelo.
Qué debe responder una traza mínima
Antes de elegir una herramienta, define las preguntas que una persona responsable debe poder contestar después de una ejecución:
- Cuál era el trabajo: el proceso y el resultado verificable que se esperaba.
- Quién actuó: agente, persona o sistema que tomó cada paso.
- Qué cambió: herramientas llamadas, datos consultados y estado antes y después.
- Dónde se desvió: error, reintento, handoff, guardrail o decisión humana.
- Cómo terminó: resultado correcto, revisión pendiente, corrección, reversión o escalado.
Si la traza solo contiene texto del modelo, responde mal a varias de estas preguntas. Si captura todo sin criterio, puede convertirse en otro almacén de datos sensibles que nadie revisa.
El mapa operativo: del agente al resultado
Un registro útil conecta cada paso con la responsabilidad que corresponde. Este mapa sirve aunque la empresa utilice un único agente, varios agentes o automatizaciones convencionales.
- Entrada: qué solicitud o evento inició el proceso y quién puede verlo.
- Interpretación: qué datos eran necesarios y qué incertidumbre quedó abierta.
- Acción: qué herramienta se llamó, con qué permisos y qué límites tenía.
- Coordinación: qué información se entregó a otro agente o a una persona.
- Verificación: qué criterio decide que el resultado es correcto antes de aceptarlo.
- Cierre: qué evidencia queda, quién responde y qué se aprende del caso.
Qué medir sin confundir actividad con valor
El número de llamadas o de tokens describe actividad técnica. Para decidir si un proceso merece más autonomía, acompáñalo de medidas operativas:
- porcentaje de casos que terminan con el resultado correcto;
- intervenciones, rechazos y correcciones de una persona;
- errores, reintentos y acciones detenidas por un límite;
- tiempo total del proceso y tiempo de espera de la revisión;
- coste por resultado correcto, no solo coste por ejecución;
- retrabajo, reversión o reapertura después del cierre.
Estas medidas no forman una puntuación universal. El responsable del proceso debe elegir cuáles corresponden al resultado que la empresa quiere mejorar y qué fallo sería inaceptable.
La privacidad también forma parte de la observabilidad
Las trazas pueden contener entradas y salidas del modelo o de las herramientas. La documentación del Agents SDK advierte de ese riesgo y permite controlar si se capturan datos sensibles. En una empresa, la pregunta no es solo «¿podemos guardarlo?», sino «¿qué necesitamos conservar para investigar el resultado y durante cuánto tiempo?».
Una práctica razonable es separar el identificador anónimo del caso, el estado y las métricas de los contenidos que puedan identificar a una persona. Define permisos de lectura, retención y borrado antes de conectar una traza a un dashboard. No guardes una transcripción completa por defecto si una señal estructurada responde a la pregunta operativa.
Cómo convertir una traza en un sistema de mejora
- Elige un proceso: una entrada, un responsable y un resultado que se pueda comprobar.
- Registra una línea base: tiempo, errores, revisiones y coste antes de cambiar el flujo.
- Observa ejecuciones completas: incluye handoffs, herramientas, límites y decisión final.
- Formula una hipótesis: cambia una sola parte, como el criterio de verificación o el permiso de una herramienta.
- Compara el resultado: conserva el cambio solo si mejora el trabajo y mantiene los controles necesarios.
Este ciclo evita dos errores opuestos: añadir agentes sin saber qué problema resuelven y construir un dashboard lleno de señales que no cambian ninguna decisión.
Cuándo pedir un diagnóstico
Tiene sentido revisar el sistema cuando el equipo ya utiliza agentes y puede ver que ocurren cosas, pero no puede explicar por qué un caso salió mal, qué responsabilidad tenía cada participante o qué dato demuestra que el piloto merece continuar. DÍA UNO ayuda a mapear el proceso, los roles humanos y digitales, los permisos, los criterios de verificación y la medición que debe acompañar al siguiente cambio.
Si todavía no sabes qué parte de la empresa conviene ordenar primero, empieza por el test de madurez. Si ya tienes un flujo que necesita trazabilidad, control y una decisión de arquitectura, agenda un diagnóstico de orquestación.
Fuentes y límites
Esta guía traduce documentación técnica y marcos públicos a preguntas operativas. No es una política de cumplimiento, una garantía de seguridad ni una recomendación de proveedor. La captura de datos debe adaptarse al proceso, los permisos y las obligaciones de cada empresa.