Testing de IA en banca: cómo evitar que tu agente invente tasas o saldos

En banca, una respuesta incorrecta de la IA no es un error simpático: es una promesa que un tribunal puede obligarte a cumplir. En 2024, Air Canada perdió un caso porque su chatbot inventó una política de reembolso que no existía, y el fallo se convirtió en la referencia de facto de que “la empresa es dueña de lo que dice su bot”.^[1] Si eso le pasó a una aerolínea por una tarifa de unos cientos de dólares, imagina el costo cuando un asistente bancario inventa una tasa de interés, confirma un saldo equivocado o promete una bonificación que el banco no honra.

Este artículo es para los equipos que están poniendo IA frente a clientes en banca y finanzas: qué puede salir mal, qué hay que probar antes de un lanzamiento, y cómo dejar la evidencia que el regulador puede pedir.

Los modos de falla que pagan caro

El regulador estadounidense de protección financiera al consumidor (CFPB) ya recopiló quejas reales sobre chatbots en finanzas: clientes atrapados en bucles, bots que se niegan a derivar a un humano, e información incorrecta sobre comisiones y disputas.^[2] Traducidos a la operación bancaria, los modos de falla más costosos son seis:

1. Inventar políticas o condiciones. El bot promete una exención de comisión que el sistema después no honra. El cliente reclama, demanda o se queja ante el regulador, o las tres cosas.^[2:1]
2. Errar en datos sensibles. Confirmar un saldo, una tasa o un estado de cuenta incorrectos. En un modelo financiero, un error del 1% puede ser un redondeo; frente a un cliente que toma una decisión, es un problema real.
3. No derivar a un humano. Un bot que atrapa al cliente en un loop en lugar de escalar cuando el caso lo exige es, además de una mala experiencia, una señal de riesgo regulatorio.^[2:2]
4. Responder mal una pregunta de idoneidad. Un asistente que opina sobre la conveniencia de un producto financiero puede terminar citado en una revisión regulatoria.
5. Revelar datos que no corresponden. Confirmar el saldo o los movimientos de un cliente a otra persona, repetir un número de tarjeta o un dato sensible en la respuesta, o exponer información interna del banco. Esta no es solo una mala experiencia: es una fuga de datos personales, con consecuencias regulatorias y reputacionales que pueden superar a las de una tasa mal informada.
6. Dar peor trato a ciertos grupos de clientes. Un asistente que responde de forma distinta, o menos favorable, según el perfil del cliente, expone al banco a un problema de discriminación, un riesgo tan regulado en finanzas como la exactitud de los datos.

El patrón común: todos estos errores se ven bien en el momento. El bot responde con seguridad, el cliente le cree, y la falla solo aparece después, cuando ya hay un reclamo. Por eso no alcanza con que “parezca que anda”: hay que probarlo antes.

Qué tiene que cumplir un agente bancario confiable

Dándole vuelta a los modos de falla, un asistente de IA apto para banca debería poder demostrar que:^[2:3]

• Responde con precisión y solo desde fuentes aprobadas por el banco.
• Nunca inventa políticas, comisiones ni condiciones.
• Deriva a un humano cuando el cliente lo pide o el caso lo requiere.
• No atrapa al cliente en bucles sin salida.
• No revela datos de un cliente a otro, ni información sensible o interna del banco.
• No produce respuestas discriminatorias ni con sesgo hacia ningún grupo de clientes.
• Produce un registro auditable por conversación.

Cada uno de esos puntos es una dimensión medible. Y ahí está la buena noticia: lo que el regulador y el sentido común exigen se puede traducir en pruebas concretas.

Qué evaluar, traducido a pruebas

No hay un único evaluador que alcance por sí solo en banca. Pero si hay que priorizar, la seguridad de los datos suele ser el que menos margen de error tolera: un bot que inventa una tasa genera un reclamo; un bot que filtra el saldo de otro cliente genera una fuga de datos personales, con todo lo que eso implica en términos regulatorios y de confianza. Junto con no inventar información y anclarse siempre en la fuente aprobada, son las dos líneas de defensa que no se pueden dejar sin probar.

La evidencia que el regulador puede pedir

Hay una dimensión que en otros sectores es deseable y en banca es directamente obligatoria: la trazabilidad. Un asistente bancario debería producir un registro auditable por conversación, y la institución debería poder demostrar, ante una revisión, que probó sistemáticamente la calidad de su IA antes de exponerla a clientes.

Esto conecta con el marco regulatorio más amplio. Tanto el régimen europeo (EU AI Act) como las regulaciones emergentes en Latinoamérica (en Brasil, por ejemplo, con supervisión sectorial del Banco Central para la IA financiera) empujan en la misma dirección: evaluación de riesgos, no discriminación, supervisión humana y evidencia documentada.^[3] El testing no es solo aseguramiento de calidad; es la materia prima de la conformidad.

Cómo lo resuelve ArtificialQA

Validar todo esto a mano (leyendo respuestas una por una) no escala y no deja evidencia defendible. ArtificialQA conecta a tu asistente bancario (por URL o por API, sin escribir código) y lo somete a los evaluadores que importan en este vertical: precisión factual y de datos, alucinaciones, seguridad (exposición de datos sensibles), sesgo, derivación correcta a un humano, y tono/formalidad. Cada ejecución queda registrada en un historial que sirve como evidencia para una auditoría. Y sus evaluadores de IA vienen calibrados de fábrica, contra el criterio de expertos humanos. No es algo que cada banco tenga que armar por su cuenta, así que los resultados resisten el escrutinio de un regulador.

El resultado práctico: un equipo de QA, producto o cumplimiento del banco puede demostrar (antes del go-live y de forma continua después) que su agente no inventa, no filtra datos, deriva cuando debe y se ciñe a las fuentes aprobadas. Porque en banca, la pregunta nunca es si vale la pena probar la IA antes de exponerla. Air Canada ya respondió esa pregunta por todos: lo que tu IA le dice a un cliente es lo que tu institución tendrá que sostener.

Preguntas frecuentes

¿Por qué es tan riesgoso un chatbot bancario que se equivoca? Porque la información que da puede ser legalmente vinculante para la institución. Un caso de referencia (Air Canada, 2024) estableció que la empresa es responsable de lo que dice su chatbot, y los reguladores financieros ya recopilan quejas sobre bots que dan información incorrecta o no escalan.

¿Qué debe garantizar un asistente de IA en banca? Responder con precisión desde fuentes aprobadas, no inventar políticas ni comisiones, derivar a un humano cuando corresponde, no atrapar al cliente en bucles, no revelar datos de otros clientes ni discriminar, y producir un registro auditable por conversación.

¿Cómo se prueba que un agente bancario no filtra datos de otros clientes? Con casos adversariales diseñados específicamente para intentar inducir al bot a revelar información sensible (saldos, tarjetas, datos personales) que no corresponde a esa conversación, y verificando que el agente se niegue de forma consistente.

¿Cómo se prueba que un agente bancario deriva a un humano cuando debe? Con casos diseñados para forzar el escalamiento (consultas sensibles o pedidos explícitos de hablar con una persona), midiendo la tasa de derivación correcta.

¿El testing de IA ayuda con el cumplimiento regulatorio en banca? Sí. La evaluación sistemática y trazable produce la evidencia que marcos como el EU AI Act y las regulaciones sectoriales emergentes exigen. No reemplaza la asesoría legal, pero es el cimiento de la conformidad.