Bias y fairness en IA: el experimento de las dos solicitudes

El primer caso de discriminación por IA que resolvió la EEOC (la agencia de igualdad laboral de EE. UU.) no se descubrió con una auditoría sofisticada. Se descubrió con el experimento más simple del mundo: una persona rechazada por el software de contratación de iTutorGroup volvió a enviar la misma solicitud, idéntica en todo salvo la fecha de nacimiento, más reciente. La segunda vez, consiguió la entrevista.^[1]

Ese par de solicitudes gemelas terminó en una demanda federal, un acuerdo por 365.000 dólares para más de 200 postulantes rechazados por edad, y un decreto de cumplimiento de cinco años.^[2] Y dejó, de paso, la lección metodológica de este artículo: el sesgo se testea con pares contrafactuales, la misma entrada dos veces, cambiando solo el atributo protegido. Si la salida cambia, tienes un hallazgo.

Lo que aquel postulante hizo a mano una vez, un equipo de QA puede hacerlo sistemáticamente, a escala y antes del lanzamiento. Es una de las pruebas más concretas de la IA responsable, porque la equidad es el principio que más fácil se declara y más difícil se demuestra. Este es el protocolo.

Primero, precisión conceptual: qué es sesgo en un agente conversacional

En sistemas generativos, el sesgo rara vez es una regla explícita como la de iTutorGroup (que estaba programada a propósito, un matiz que conviene no perder al citar el caso).^[3] Suele ser estadístico y sutil, heredado de los datos de entrenamiento, y se manifiesta de formas que ningún log muestra: el agente es más formal con unos nombres que con otros, más escéptico ante ciertos acentos escritos, más propenso a ofrecer el producto premium según cómo suena el cliente, más displicente en un idioma que en otro.

Conviene separar dos planos, porque se testean distinto:

• Trato desigual (fairness de proceso): ante consultas equivalentes, ¿el agente responde con la misma calidad, tono, completitud y disposición? Este plano aplica a cualquier agente conversacional.
• Resultados desiguales (fairness de decisión): cuando el agente influye en decisiones (aprobar, recomendar, priorizar, derivar), ¿los resultados difieren según atributos protegidos? Este plano aplica a agentes con consecuencias, y es el que activa el riesgo legal.

El protocolo de las dos solicitudes, sistematizado

Paso 1: elige los atributos y el riesgo de tu dominio. Género, edad, origen (nombres, gentilicios, variantes del idioma), nivel socioeconómico implícito, discapacidad. No todos aplican a todo agente: un asistente de RR. HH. y un chatbot de crédito tienen mapas de riesgo distintos. La pregunta guía: ¿en qué decisiones o tratos podría este agente diferenciar indebidamente?

Paso 2: construye pares (o familias) contrafactuales. Toma tus casos de prueba reales y clónalos cambiando solo el atributo: la misma consulta de crédito firmada por “Juan” y por “Yenifer”; el mismo reclamo escrito en español neutro y en una variante regional marcada; la misma pregunta de un cliente de 25 y de 70 años cuando la edad es visible en el contexto. Todo lo demás queda idéntico: monto, historial, redacción de fondo. La fuerza del método está en esa igualdad: cualquier diferencia de salida es atribuible al atributo.

Paso 3: evalúa las diferencias, no solo las respuestas. Cada miembro del par se puntúa en las dimensiones de siempre (precisión, completitud, tono, disposición a ayudar, derivación) y el análisis mira el delta dentro del par: ¿la versión “Yenifer” recibió respuestas más cortas, más condicionales, menos ofertas? Un caso aislado es ruido, porque los modelos son no deterministas y dos corridas nunca son idénticas. Por eso se trabaja con familias de pares y se busca el patrón: diferencias sistemáticas, en la misma dirección, a través de muchos casos.

Paso 4: define qué es “aprobado”. El criterio de fairness también necesita umbral: por ejemplo, que la diferencia de puntaje promedio entre variantes de un atributo no supere un margen definido en ninguna dimensión, y que ningún comportamiento prohibido (negar un servicio, cambiar una condición) aparezca asociado al atributo. Igual que el resto del plan de pruebas, se re-ejecuta ante cada cambio de modelo o prompt, porque el sesgo también deriva.

Los tres errores que invalidan el testing de fairness

Testear con casos artificiales de laboratorio. “¿Eres racista?” le pregunta al modelo por su autoimagen, no por su comportamiento. Ningún modelo comercial responde mal a eso, y ninguno revela ahí sus sesgos reales. El material de prueba son tus casos de negocio reales, clonados.

Mirar solo la decisión y no el trato. Un agente puede aprobar el crédito a ambas variantes… habiendo exigido el doble de justificaciones a una. El trato desigual erosiona clientes igual que la decisión desigual, y además es la señal temprana de la segunda.

Hacerlo una vez. El caso iTutorGroup también enseña esto: el decreto no le exigió a la empresa “no discriminar” en abstracto, sino monitoreo, registros y procedimientos de cumplimiento sostenidos.^[2:1] La foto de un test de sesgo caduca con el siguiente cambio de modelo; lo defendible es la serie.

Dónde encaja la plataforma

El protocolo contrafactual es, en el fondo, un uso particular del mismo motor de evaluación: casos con contexto y criterios, evaluadores multidimensionales, comparación sistemática de resultados. En ArtificialQA se implementa creando las familias de casos contrafactuales dentro de un plan de fairness, evaluando cada variante con los mismos jueces calibrados (tono, completitud, disposición, derivación) y usando la comparación entre casos y ejecuciones para detectar los deltas sistemáticos, con los resultados registrados como evidencia. Que es exactamente lo que un regulador, un auditor o un cliente enterprise va a pedir cuando pregunte cómo sabes que tu agente trata a todos igual.

Preguntas frecuentes

¿Qué es el testing contrafactual de sesgo? Es evaluar un sistema con pares de entradas idénticas salvo por un atributo protegido (nombre, edad, género, variante lingüística) y medir si las salidas difieren sistemáticamente. Es el método más directo para atribuir una diferencia de trato al atributo y no a otra variable.

¿Un resultado distinto en un par prueba que hay sesgo? No: los modelos son no deterministas y dos corridas nunca son idénticas. El hallazgo válido es el patrón, diferencias en la misma dirección, sostenidas a través de familias de casos y repetibles entre ejecuciones.

¿Esto aplica si mi agente no toma decisiones (solo informa)? Sí, en el plano del trato: calidad, tono, completitud y disposición deben ser equivalentes para consultas equivalentes. El trato desigual daña la experiencia y la marca aunque no haya una “decisión” formal en juego.

¿El fairness testing me protege legalmente? Reduce el riesgo y produce evidencia de diligencia, pero ninguna prueba técnica sustituye el análisis legal: las obligaciones varían por jurisdicción y por caso de uso (contratación, crédito y salud tienen reglas específicas). Trabaja el plan de fairness junto con tu equipo legal.

¿Cada cuánto se repite? Ante cada cambio de modelo, de prompt o de datos, y de forma programada como parte del monitoreo. El sesgo puede aparecer o desaparecer con una actualización del proveedor, igual que cualquier otra dimensión de calidad.

Este artículo es informativo y no constituye asesoría legal. Verifica tus obligaciones concretas con tu equipo legal o de compliance.