De chatbots a agentes: qué cambia en el control de calidad

Durante años, “IA conversacional” significó chatbot: el usuario escribe, el sistema responde, fin. En 2026 esa definición quedó vieja. La empresa promedio ya opera alrededor de 12 agentes de IA, y la proyección es que sean 20 para 2027.^[1] Y un agente no es un chatbot más rápido: es una categoría distinta de software, que rompe casi todo lo que sabíamos sobre cómo asegurar su calidad.

Si tu equipo aprendió a testear chatbots y ahora le toca un agente, este artículo explica qué cambia, por qué el viejo método se queda corto, y qué hay que medir en su lugar.

La diferencia que lo cambia todo: del responder al actuar

Un chatbot —incluso uno potente, basado en un LLM— funciona en un patrón de pregunta-respuesta: recibe un mensaje, genera una respuesta, espera el siguiente. No toma acciones en sistemas externos ni planifica varios pasos.^[2]

Un agente opera en un bucle: observa, razona, actúa, evalúa si la tarea está completa, y si no, vuelve a intentar.^[2:1] Le das un objetivo —“resolvé el reclamo de este cliente”— en lugar de una instrucción puntual, y él decide cómo: consulta una base de datos, llama a una API, recupera un documento, encadena los pasos. Tiene cinco rasgos que un chatbot no tiene: pensamiento orientado a objetivos, uso de herramientas, razonamiento en múltiples pasos, memoria entre interacciones y capacidad de decisión autónoma cuando algo sale distinto de lo esperado.^[3]

Esa autonomía es justamente lo que la hace valiosa —y lo que la hace difícil de testear. Como lo resumió un partner de McKinsey, la agencia no es una función más: es una transferencia de derechos de decisión. La pregunta deja de ser “¿el modelo es preciso?” y pasa a ser “¿quién responde cuando el sistema actúa?”.^[4]

Por qué el QA de chatbots no alcanza para agentes

Cuando pruebas un chatbot, evalúas una respuesta: ¿es correcta, tiene buen tono, no alucina? Eso sigue siendo necesario con un agente, pero ya no es suficiente, por tres razones que vienen directo de su arquitectura.^[5]

Las fallas se esconden en el trayecto, no en la respuesta final. Un agente da muchos pasos sin supervisión. Puede llegar a una respuesta final correcta habiendo hecho algo indebido en el camino —consultar el dato equivocado, llamar a una herramienta que no correspondía— y un test que solo mira el resultado final no lo detecta. El ejemplo canónico viene del benchmark Tau²-Bench, que simula dominios de atención al cliente: un agente que reserva el vuelo correcto pero exime una tarifa que no se podía eximir falla la tarea, aunque el resultado parezca bien.^[6] Eso mapea exactamente a cómo las industrias reguladas despliegan agentes.

El mismo input puede producir un camino distinto cada vez. Como los agentes tienen estado, memoria y reciben resultados variables de sus herramientas, la misma tarea puede recorrer una trayectoria diferente en cada ejecución. Un único test que pasa te dice muy poco.^[5:1]

Atribuir la culpa es difícil. Con recuperadores, herramientas, planificadores y subagentes todos en juego, un puntaje de extremo a extremo te dice que algo se rompió, no qué componente se rompió.^[5:2]

El costo de no ver estas fallas es concreto. En marzo de 2025, un agente de IA en una fintech entró en un bucle descontrolado durante una conciliación de transacciones: corrió once días y acumuló 47.000 dólares en costos antes de que alguien lo notara.^[7] Y según una encuesta de PwC, el 79% de las organizaciones ya adoptó agentes de IA, pero la mayoría no puede trazar las fallas a través de flujos de varios pasos ni medir la calidad de forma sistemática.^[8] No es casualidad que Gartner proyecte que más del 40% de los proyectos de IA agéntica se cancelarán para fines de 2027, a menudo porque los equipos no tienen la infraestructura de evaluación para detectar fallas antes de producción.^[7:1]

Lo nuevo que hay que evaluar

Testear un agente no reemplaza al QA de calidad de las respuestas: lo amplía. A las dimensiones de siempre —precisión, tono, alucinaciones, escalamiento— se suman otras propias de los agentes. El consenso técnico de 2026 las organiza en tres niveles:^[5:3]

Dentro de esos niveles, las evaluaciones que cobran protagonismo con los agentes son:

• Uso de herramientas (tool calling): ¿el agente llama a la herramienta correcta, con los parámetros correctos, en la cantidad de pasos correcta? Una sola tarea puede desplegarse en decenas o cientos de llamadas a APIs, bases de datos y otros servicios.^[5:4]
• Calidad de la planificación: ¿la secuencia de pasos que eligió tiene sentido, o da vueltas innecesarias?
• Adherencia a la política: ¿respeta las reglas escritas del negocio, como en el ejemplo de la tarifa no eximible?
• Derivación a un humano: cuándo y cómo cede el control —tan crítico en un agente que actúa como en un chatbot que responde.

Qué significa esto para tu equipo

El cambio de fondo es de mentalidad. Con chatbots, el QA validaba respuestas. Con agentes, el QA tiene que validar comportamiento: no solo qué dijo el sistema, sino qué hizo, en qué orden y por qué. No es coincidencia que el discurso de aseguramiento de calidad de 2026 describa al QA como la “capa de accountability” de la IA —el lugar donde se define qué significa que un agente funcione bien y se verifica que efectivamente lo haga.

La buena noticia es que el núcleo del oficio no cambia: sigue tratándose de diseñar buenos casos de prueba, definir qué es “correcto” y medirlo de forma sistemática. Lo que cambia es la superficie a cubrir. Y eso requiere herramientas pensadas para evaluar agentes, no chatbots —capaces de mirar la trayectoria, no solo la respuesta final.

Es lo que hace ArtificialQA: conecta a tu agente —por URL o por API, sin código— y lo evalúa sobre las dimensiones que importan en un sistema que actúa, incluida la derivación correcta a un humano y la adherencia a las reglas del negocio. Un equipo de QA o de negocio puede así probar un agente con el mismo rigor con el que siempre aseguró la calidad del software, adaptado a una era en la que la IA ya no solo conversa: decide y actúa.

Porque esa es, al final, la pregunta que define el momento. Cuando tu IA solo respondía, un error era una mala respuesta. Ahora que actúa, un error es una mala decisión —ejecutada antes de que nadie la vea. La única defensa es haberla probado antes.

Preguntas frecuentes

¿Cuál es la diferencia entre un chatbot y un agente de IA? Un chatbot responde en un patrón de pregunta-respuesta. Un agente opera en un bucle: observa, razona, usa herramientas, toma decisiones y ejecuta tareas de varios pasos de forma autónoma, persiguiendo un objetivo en lugar de responder a una instrucción puntual.

¿Por qué es más difícil testear un agente que un chatbot? Porque las fallas se esconden en la trayectoria de pasos (no solo en la respuesta final), el mismo input puede producir caminos distintos cada vez, y con muchos componentes en juego es difícil atribuir qué pieza falló.

¿Qué se evalúa en un agente de IA que no se evalúa en un chatbot? Además de las dimensiones de calidad de las respuestas, se evalúa el uso de herramientas, la calidad de la planificación, la adherencia a las políticas del negocio y la trayectoria de decisiones, en tres niveles: extremo a extremo, trayectoria y componente.

¿Qué es la evaluación de trayectoria? Es evaluar la secuencia de pasos y decisiones que tomó el agente para llegar a un resultado, no solo el resultado en sí. Permite detectar cuando un agente llega a una respuesta correcta por un camino indebido.

¿Los chatbots dejaron de ser relevantes? No. Para muchos casos (FAQs, respuestas desde documentos), un chatbot o un sistema RAG resuelve bien y a menor costo y complejidad que un agente. El agente conviene cuando la tarea implica varios pasos y acciones en sistemas reales.