Traducción automática Este artículo se tradujo automáticamente a partir de la versión original en inglés.
Mejores herramientas de evaluación de AI Agents: Phoenix, LangSmith y DeepEval
Ninguna herramienta de evaluación de agentes puede sustituir un buen diseño de tests. Empieza por los fallos que el producto debe detectar: una respuesta final incorrecta, una mala elección de herramienta, argumentos no válidos, un efecto secundario inseguro, una trayectoria ineficiente o una regresión en latencia y coste. Después, elige la herramienta que encaje con el lugar donde deben ejecutarse esos tests.
Usa Phoenix cuando sean importantes el tracing abierto y el self-hosting. Usa LangSmith cuando datasets, traces, anotaciones y experimentos deban compartir un único flujo de trabajo gestionado. Usa DeepEval cuando la evaluación deba integrarse como tests en un pipeline de CI de Python. Añade Promptfoo para disponer de una CLI local, matrix tests y casos de red teaming.
Última revisión: 2026-08-10. La comparación prioriza la profundidad de los traces, la evaluación de trayectorias y respuestas finales, el flujo de trabajo con datasets, la ergonomía en CI, el self-hosting y la portabilidad entre proveedores.
Tabla de decisión
| Necesidad | Mejor punto de partida | Motivo |
|---|---|---|
| Traces de OpenTelemetry y self-hosting | Phoenix | El tracing, las evaluaciones, los datasets y los experimentos open source utilizan las convenciones de OpenTelemetry y OpenInference. |
| Traces, datasets y revisión gestionados | LangSmith | Evalúa trayectorias y respuestas finales, y puede trabajar con agentes fuera de LangChain. |
| Tests en Python y CI gates | DeepEval | La evaluación de agentes end-to-end y a nivel de componente encaja con un flujo de trabajo orientado a tests. |
| Matrix tests locales y red teaming | Promptfoo | La CLI y la librería open source ejecutan evaluaciones repetibles y casos de seguridad en CI. |
| Comprobaciones de políticas o herramientas específicas del producto | Evaluadores personalizados | Los jueces genéricos no conocen tus permisos, acciones irreversibles, presupuestos ni invariantes de negocio. |
Evalúa la trayectoria y el resultado
Una respuesta final correcta puede ocultar un recorrido defectuoso. Un agente puede llamar a la herramienta equivocada, reintentar sin necesidad, exponer argumentos sensibles o llegar a una respuesta plausible sin evidencias. A la inversa, una secuencia de herramientas diferente pero válida no debería fallar únicamente porque difiera de una traza de referencia.
Mantén comprobaciones independientes para:
- corrección de la respuesta final y respaldo mediante evidencias
- selección de herramientas y validez de los argumentos
- acciones obligatorias, prohibidas o repetidas
- decisiones de política y límites de aprobación
- eficiencia de la trayectoria, latencia y coste
- recuperación tras errores de herramientas o resultados parciales
Usa aserciones deterministas siempre que sea posible. Reserva los jueces basados en modelos para las cuestiones semánticas, calibra sus resultados con ejemplos revisados y guarda el modelo juez y el prompt junto con cada resultado.
Un stack inicial práctico
- Instrumenta el harness con campos estables para traces y tool calls.
- Convierte los fallos de producción en un pequeño dataset de regresión.
- Añade comprobaciones deterministas para schemas, acciones prohibidas, presupuestos y evidencias obligatorias.
- Añade un juez semántico calibrado para los resultados que las reglas no puedan puntuar.
- Ejecuta los casos rápidos con cada cambio y una suite más amplia antes de cada release.
- Muestrea los traces de producción para detectar nuevos modos de fallo y conviértelos en tests.
Lecturas recomendadas
- Agent Evals: From Traces to Test Suites explica el diseño de evaluación en el que se basan estas herramientas.
- AI Agent Security cubre las comprobaciones de políticas que un evaluador debería observar, pero no puede aplicar por sí mismo.
- Long-Running AI Agent Runtime aborda los traces y checkpoints que permiten reproducir los fallos.