Agentes de IA en finanzas: los 5 riesgos de calidad más comunes

En finanzas, un error de la IA no se mide en una mala reseña: se mide en dinero, en reclamos y, cada vez más, en exposición regulatoria. El sector lo sabe —88% de los ejecutivos bancarios creen que la IA conversacional será el canal principal de atención al cliente—,^[1] pero entusiasmo y preparación no son lo mismo. Antes de poner un agente de IA frente a clientes financieros, conviene conocer los cinco riesgos de calidad que más se repiten —y cómo se detecta cada uno antes de que llegue a producción.

1. Inventar datos o condiciones

El riesgo más caro y más frecuente. Un agente que confirma un saldo equivocado, “recuerda” una tasa que no existe o promete una bonificación que el sistema no honra. No es teórico: el caso de Air Canada estableció que la empresa responde legalmente por lo que su chatbot inventa,^[2] y el regulador estadounidense (CFPB) ya recopiló quejas sobre chatbots financieros que dan información incorrecta sobre comisiones y disputas.^[3]

Cómo se detecta: probando la precisión factual y la tasa de alucinaciones con casos cuya respuesta correcta está en la documentación real, y verificando que el agente se ciñe a la fuente en lugar de “completar” con lo que cree recordar.

2. No derivar a un humano cuando corresponde

El segundo modo de falla es de omisión: el agente que insiste en resolver solo cuando debería pasar el caso a una persona. El CFPB documentó específicamente clientes atrapados en bucles, con bots que se niegan a escalar.^[3:1] En finanzas, no derivar a tiempo no solo frustra al cliente: en consultas sensibles —una disputa, una dificultad de pago, una sospecha de fraude— puede transformar un problema manejable en uno regulatorio.

Cómo se detecta: con casos diseñados para forzar el escalamiento —pedidos explícitos de hablar con una persona, situaciones sensibles— midiendo la tasa de derivación correcta.

3. Sesgo en decisiones que afectan a personas

Cuando la IA toca decisiones financieras —scoring de crédito, elegibilidad, recomendaciones de producto— el sesgo deja de ser abstracto. Un sistema puede funcionar “bien” en promedio y discriminar sistemáticamente a un subgrupo, y eso, en crédito o seguros, tiene implicancias legales directas. El crédito es, de hecho, una de las áreas que los marcos regulatorios (como el EU AI Act) clasifican como de alto riesgo.^[4]

Cómo se detecta: con pruebas de equidad (fairness) que comparan los resultados del agente entre distintos grupos demográficos, midiendo la disparidad de forma deliberada —porque el sesgo no se ve a menos que se lo busque.

4. Tono inadecuado en momentos delicados

Las finanzas están llenas de conversaciones emocionalmente cargadas: una deuda, un rechazo de crédito, un fraude. Un agente factualmente correcto pero frío o robótico en esos momentos daña la relación tanto como un dato equivocado. En mercados de habla hispana esto pesa especialmente: la IA que se siente una pared para evitar hablar con una persona genera rechazo.

Cómo se detecta: evaluando el tono y la empatía con casos situados en escenarios delicados, no solo en consultas neutras.

5. Degradación silenciosa después del lanzamiento

El quinto riesgo no aparece en el go-live: aparece después. Un agente que funcionaba bien empieza a fallar semanas más tarde porque el proveedor actualizó el modelo, cambió el tipo de consultas o se desactualizó el contexto. En un banco con miles de conversaciones diarias, esa degradación no la detecta nadie revisando llamadas al azar —hasta que se acumulan los reclamos.

Cómo se detecta: con monitoreo continuo en producción y pruebas de regresión que vuelven a correr el conjunto de casos cada vez que algo cambia, para detectar la caída antes que el cliente.

El hilo común: todos se detectan probando

Si miras los cinco, comparten una característica tranquilizadora: ninguno es un misterio impredecible. Todos se pueden anticipar y medir antes de exponer el agente a un cliente —y vigilar después—. La diferencia entre un banco que sufre estos fallos y uno que no, rara vez es la calidad del modelo que eligió; es si probó sistemáticamente o si confió en que “se veía bien”.

Es para eso que sirve ArtificialQA: permite a los equipos de QA, producto o cumplimiento de una institución financiera conectar su agente —por URL o por API, sin código— y evaluarlo contra estos cinco riesgos con jueces calibrados, dejando evidencia auditable de cada prueba. Precisión y alucinaciones, derivación a un humano, equidad, tono, y monitoreo continuo contra la degradación: las cinco dimensiones, medidas, antes y después del lanzamiento.

Porque en finanzas la pregunta no es si estos riesgos existen —existen para todos—. La pregunta es si los vas a encontrar vos en una prueba, o tus clientes en producción.

Preguntas frecuentes

¿Cuáles son los principales riesgos de calidad de un agente de IA en finanzas? Los cinco más comunes son: inventar datos o condiciones, no derivar a un humano cuando corresponde, sesgo en decisiones que afectan a personas, tono inadecuado en momentos delicados, y degradación silenciosa después del lanzamiento.

¿Por qué es tan grave que un chatbot financiero invente información? Porque la empresa responde legalmente por lo que dice su bot (precedente Air Canada) y los reguladores recopilan quejas sobre información incorrecta de comisiones y disputas. Un dato inventado puede derivar en un reclamo, una demanda o una sanción.

¿Cómo se detecta el sesgo en un agente financiero? Con pruebas de equidad que comparan los resultados del agente entre distintos grupos demográficos y miden la disparidad de forma deliberada. El sesgo no se ve a menos que se lo busque, y el crédito es un área clasificada como de alto riesgo por marcos como el EU AI Act.

¿Qué es la degradación silenciosa y por qué importa en banca? Es la caída de calidad que ocurre después del lanzamiento —por actualizaciones del modelo, cambios en las consultas o contexto desactualizado— y que, por el volumen, no se detecta revisando conversaciones al azar hasta que se acumulan los reclamos. Se mitiga con monitoreo continuo y pruebas de regresión.

¿Se pueden prevenir estos riesgos? Sí. Ninguno es impredecible: todos se pueden anticipar y medir antes de exponer el agente a clientes, y vigilar después con monitoreo. La diferencia suele estar en si la institución probó sistemáticamente o confió en que “se veía bien”.