AgentScore

Monitorea diariamente si tu agente de IA está mejorando o empeorando

SaaSOpen Source

Sobre AgentScore

Conecta tu agente en producción a Latitude y obtén un puntaje de calidad que evalúa resultados, fiabilidad, costo, velocidad y seguridad. Se actualiza cada día para que siempre sepas si tu agente va por buen camino o necesita ajustes.

¿Qué es AgentScore?

AgentScore es una función del ecosistema de Latitude, una plataforma open source (licencia MIT) de observabilidad y monitorización para agentes de IA. La idea es conectar el agente que ya tienes en producción y obtener un puntaje de calidad que resume cómo se está comportando en dimensiones como resultados, fiabilidad, costo, velocidad y seguridad, con una actualización diaria que permite ver si el agente mejora o empeora con el tiempo.

Por debajo, Latitude recoge la telemetría de tu aplicación mediante su SDK o apuntando un pipeline de OpenTelemetry ya existente, sin formatos propietarios. A partir de esas trazas analiza las sesiones completadas para entender de qué trataba la conversación y dónde hubo fricción: escaladas, abandonos, reintentos, fallos de herramientas o respuestas que rompen la confianza del usuario.

Los fallos recurrentes se agrupan y priorizan automáticamente como incidencias y señales, con su tendencia y trazas de ejemplo. Cuando aparece una señal nueva o una existente empeora, el equipo recibe alertas por Slack, email o webhooks, y Latitude puede despachar un agente de programación como Claude Code o Cursor con el contexto completo para que proponga un arreglo en forma de pull request.

Características principales de AgentScore

Ingesta de trazas compatible con OpenTelemetry, ya sea con el SDK de Latitude o redirigiendo tu pipeline actual.
Análisis de conversaciones que extrae de cada sesión qué ocurrió y en qué momentos se complicó.
Agrupación de fallos similares en una sola incidencia con ejemplos, tendencia y usuarios afectados.
Alertas por Slack, email o webhooks cuando se detecta una nueva incidencia o una existente escala.
Despacho automático a agentes de programación (Claude Code o Cursor) con contexto y trazas para que abran un PR con el arreglo.
Señales personalizadas, anotaciones humanas sobre trazas y datasets generados a partir de trazas validadas para evaluaciones y tests de regresión.

¿Para quién es AgentScore?

Está pensado para equipos de desarrollo y product engineers que ya tienen agentes de IA o aplicaciones LLM en producción y necesitan saber qué está fallando realmente, más allá de los logs sueltos. Encaja sobre todo en equipos que instrumentan con OpenTelemetry, que quieren una opción open source sin dependencia de un formato propietario y que valoran requisitos de seguridad y cumplimiento como SOC 2, SSO por SAML, GDPR y residencia de datos en Europa.

Casos de uso

Seguir día a día el puntaje de calidad de un agente en producción para detectar si una nueva versión lo empeoró.
Recibir un aviso en Slack cuando aumentan los fallos de llamadas a herramientas y revisar trazas de ejemplo antes de que se quejen los usuarios.
Agrupar errores recurrentes en una incidencia y despachar a Claude Code o Cursor para que abra un pull request con la corrección.
Construir datasets a partir de trazas reales validadas para ejecutar evaluaciones y tests de regresión tras cada cambio.

Precio de AgentScore

Latitude es open source con licencia MIT y ofrece un plan Starter gratuito con 20.000 créditos al mes, 30 días de retención de datos y asientos ilimitados. El plan Pro cuesta 99 USD al mes con 100.000 créditos, 90 días de retención y soporte prioritario, con créditos extra a 20 USD por cada 10.000. El plan Enterprise tiene precio a medida e incluye despliegue on-premise o en cloud propio, RBAC, SAML SSO y SLA.

¿AgentScore está disponible en español?

Sin confirmarEl sitio web está en inglés y no enlaza a una versión en español; las fuentes no indican si la interfaz del producto está disponible en español.

Preguntas frecuentes sobre AgentScore

¿Hay que cambiar mi instrumentación actual para usarlo?: No necesariamente: es compatible con OpenTelemetry, así que puedes usar el SDK de Latitude o apuntar tu pipeline existente, sin formato propietario ni lock-in.
¿Puedo autohospedarlo?: Latitude es open source con licencia MIT y el plan Enterprise contempla despliegues on-premise o en tu propia infraestructura cloud.
¿Qué pasa con la privacidad y el cumplimiento normativo?: Según su web, están certificados en SOC 2 Type II, cumplen GDPR, cifran los datos en tránsito (TLS 1.2+) y en reposo (AES-256), ofrecen SSO con SAML 2.0, registros de auditoría y alojamiento de datos en servidores europeos.