Salesforce lanza Agent Evals para evaluar agentes de IA

Salesforce anunció Agent Evals, API Evals y controles de costos avanzados para Agent Fabric, su plano de control de IA para administrar y gobernar agentes en todas las plataformas. A medida que las empresas amplían la IA, los agentes pueden fallar silenciosamente, dando respuestas incorrectas, acumulando costos antes de que alguien se dé cuenta.

Los CIO y los líderes de IA ahora pueden detectar problemas antes de que se conviertan en quejas de clientes o costos desbocados, con intervenciones automatizadas ante una falla de calidad y límites estrictos de gasto que limiten el uso al presupuesto.

Con más de 1200 millones de solicitudes gestionadas diariamente, Agent Fabric aporta control proactivo a la IA empresarial a escala.

"Lo que más nos entusiasma de Agent Evals es que no se limita a decirnos que algo anda mal. Cuando la calidad de un agente disminuye, Agent Fabric puede intervenir automáticamente, alertando al propietario correcto o desconectando al agente antes de que un pequeño problema se convierta en un problema generalizado. Esa es la pieza que faltaba para ejecutar agentes a escala, y nos dará la confianza para seguir expandiendo la IA en todo nuestro negocio. Estamos entusiasmados de asociarnos con Salesforce y ayudar a dar forma a Agent Evals Beta". – Poonam Deshpande, Director of Engineering, Digital Commerce at ASICS Digital

A medida que evolucionan los modelos, las API, los costos y los sistemas subyacentes a los agentes, los problemas pueden surgir silenciosamente. Detectarlos de manera proactiva significa construir, mantener y evaluar el desempeño continuamente. Sin embargo, hoy en día menos de la mitad de las organizaciones con agentes los evalúan en función del tráfico en vivo. Una vez que se descubren los problemas, la resolución significa localizar al propietario y obtener aprobación para restringir al agente mientras sigue produciendo resultados dañinos y acumulando gastos en tokens. Con el 96% de las empresas ejecutando agentes en más de una plataforma y agentes listos para usar como Fin en aumento, la necesidad de supervisión sigue creciendo.

Pasar de una IA que se basa en la suerte a un control continuo

Para abordar estos desafíos, Salesforce integra la evaluación continua y la intervención automatizada, en el mismo plano de control de IA que las empresas ya utilizan para gestionar y gobernar sus agentes de IA:

• Agent Evals: Genera automáticamente pruebas antes de la implementación y evalúa agentes, LLM y servidores MCP en producción según umbrales de calidad definidos. Si los resultados no cumplen con los requisitos, se activan intervenciones predefinidas, incluyendo el Agent Kill Switch de agentes, con la aprobación correspondiente según la política de equipo.
• API Evals: Los agentes fallan cuando cambian las API de las que dependen. API Evals genera automáticamente pruebas funcionales y de rendimiento a partir de las especificaciones dadas, detectando cambios incompatibles antes de que lleguen a producción.
• Controles de costos avanzados: El panel de control de FinOps y la Model Wallet ofrecen a los responsables del presupuesto una visión unificada del gasto en IA y límites estrictos que detienen las solicitudes antes de que éstas superen el presupuesto. Las políticas de optimización de costos reducen el uso de tokens hasta en un 75% (según los escenarios de prueba) mediante el almacenamiento en caché semántico, la compresión de la carga útil y el recorte de respuestas.

En conjunto, la evaluación y gobernanza ayudan a los equipos a determinar si los agentes completan las tareas y utilizan las herramientas correctamente y si es que operan de manera eficiente y cumplen con las políticas de seguridad. Conectar esos hallazgos con respuestas predefinidas reduce el trabajo manual necesario para supervisar a los agentes en todas las plataformas y ayuda a las empresas a mantenerlos funcionando según lo previsto después de su implementación.

“Las empresas solo pueden escalar sus agentes al ritmo que puedan mantenerlos dentro del presupuesto. Hoy en día, detectar una respuesta incorrecta o un aumento repentino del gasto es una cosa, y detenerlo es otra. Agent Fabric unifica ambas tareas, integrando evaluaciones, controles de costos e intervención para que los equipos puedan resolver problemas al instante y escalar agentes con confianza.”— Andrew Comstock, SVP & GM, MuleSoft & Agent Fabric

Así es como se ve el control proactivo en la práctica considerando un minorista que busca reducir los costos de un agente de atención al cliente:

• Escenario: Un minorista cambia su agente de atención al cliente a un modelo de IA de menor costo para reducir costos operativos.
• Detección: Tras el cambio de modelo, Agent Evals ejecuta automáticamente pruebas programadas y detecta que el agente proporciona información inexacta sobre los pedidos retrasados.
• Resolución: Agent Evals marca automáticamente el problema de calidad y solicita autorización para poner al agente en cuarentena, según su preferencia por mantener la intervención humana. Una vez aprobada la autorización, el agente se pone en cuarentena mientras el equipo ajusta sus instrucciones sobre cómo gestionar los pedidos retrasados. Se vuelve a ejecutar la evaluación en el modelo de menor costo con las nuevas instrucciones para confirmar que funciona según lo previsto antes de reintegrarlo a producción.
• Resultado: El minorista puede buscar ahorros de costos con IA con confianza, sabiendo que los problemas de calidad se pueden detectar automáticamente y que se puede intervenir cuando sea necesario. Esto ayuda a proteger la experiencia del cliente y, al mismo tiempo, le brinda a la empresa un mayor control sobre sus agentes de IA.

Ampliando la funcionalidad a las plataformas y pasarelas que ya utiliza

Agent Fabric ya detecta y gestiona automáticamente los agentes en las principales plataformas de IA. Dos actualizaciones amplían aún más esta funcionalidad, incluyendo agentes que se ejecutan en entornos internos y de terceros, así como APIs gestionadas en pasarelas de otros proveedores:

• Escáner de agentes personalizado: Amplie la detección automática de Agent Fabric a entornos internos, sistemas protegidos por firewalls y plataformas de terceros, más allá de su compatibilidad predeterminada. Cree escáneres personalizados para detectar y catalogar agentes, modelos, servidores MCP y API en el Registro de agentes, sin necesidad de hacerlo con cada recurso manualmente.
• Políticas abiertas para pasarelas de API federadas: Descubra, aplique y supervise las políticas de API en pasarelas de Azure, Apigee y Kong, aplicando una política, como la inclusión de direcciones IP en listas blancas o la limitación de velocidad, a todas ellas en una sola acción, en lugar de hacerlo una por una.

Perspectivas

“Gran parte de lo que se implementa actualmente en las grandes organizaciones con IA se basa en proyectos puntuales, sin gobernanza ni visibilidad. Con Agent Fabric, ahora contamos con un plano de control de IA único donde podemos visualizar nuestros agentes, quién los creó y desactivarlos si surge algún problema. Así es como se pasa de la experimentación a una implementación empresarial real con confianza.” — Adam Jones, Executive Director of Enterprise Transformation, GE Appliances, a Haier company

“Al incorporar agentes de IA al customer service, queremos asegurarnos de poder guiarlos y supervisarlos en cada paso del proceso. Con Agent Fabric como nuestra plataforma de control de IA segura, Newell Brands está construyendo una empresa agéntica donde cada agente, en todas las marcas, es visible, está gestionado y es responsable. Así es como estamos escalando el customer service a nivel global sin comprometer la confianza del cliente.” — Steve Sigrist, Vice President, Global Customer Service, Newell Brands.