IA en salud: cómo verificar precisión y derivación segura a un médico

En enero de 2026, la organización de seguridad del paciente ECRI publicó su ranking anual de riesgos tecnológicos en salud. En el primer puesto, por encima de cualquier dispositivo o falla de equipamiento, quedó algo que no es una máquina: el mal uso de los chatbots de IA.^[1] La razón que dio ECRI es incómoda y precisa: estos sistemas generan respuestas que suenan autoritativas pero pueden ser inexactas o engañosas, porque predicen patrones de palabras en lugar de comprender el contexto médico, y están diseñados para sonar seguros y dar siempre una respuesta, aun cuando no sea confiable.^[1:1]

El contexto explica la urgencia, y también el porqué: más de 40 millones de personas por día recurren a ChatGPT para información de salud, según la propia OpenAI, y 7 de cada 10 de esas consultas ocurren fuera del horario habitual de atención médica.^[2] Eso no es necesariamente imprudencia: para mucha gente es la única forma de resolver una duda a las 3 de la mañana, entender mejor un diagnóstico antes de la próxima consulta, o llegar mejor preparada a hablar con su médico. El problema no es que la gente use IA para informarse en salud. El problema es usarla sin haberla probado antes. Si tu organización está desplegando IA en un entorno clínico o de salud, este artículo trata sobre lo único que realmente importa probar, y sobre una métrica que, en salud, hay que dar vuelta.

El principio contraintuitivo: mide la derivación, no solo la precisión

En casi todos los sectores, una IA es mejor cuanto más preguntas resuelve sin molestar a un humano. En salud es al revés. Como lo plantea un análisis del fenómeno, no alcanza con mirar la “exactitud”: hay que sumarle la tasa de derivación (escalation rate) como métrica central. Si tu bot está resolviendo consultas sin marcar a un humano, eso podría ser una señal de alarma, no de éxito. Una IA médica segura tiene que ser precisa y, al mismo tiempo, estar constantemente empujando al usuario hacia el cuidado humano cuando corresponde: una cosa no reemplaza a la otra.^[3]

Este giro lo cambia todo en el diseño de las pruebas. Un agente de salud que responde con confianza una consulta que debería haber derivado no está funcionando bien: está fallando de la forma más peligrosa posible. La investigación lo respalda, y con un dato concreto que conviene tener presente: un estudio de Mount Sinai (publicado en Nature Medicine, feb. 2026) sobre ChatGPT Health encontró que sus alertas de seguridad estaban invertidas respecto al riesgo real, apareciendo con más frecuencia en casos de bajo riesgo que en casos donde la persona reveló intención de autolesión. Los modelos son menos seguros justamente en los extremos clínicos, donde el juicio separa una emergencia no detectada de una alarma innecesaria.^[4] Y ese es exactamente el momento en que más importa que el sistema ceda el control a una persona.

Por qué los modelos fallan justo donde más importa

Hay una trampa técnica detrás de esto, y conviene entenderla. Los modelos que brillan en los benchmarks médicos (esos exámenes de opción múltiple) suelen estar sobreajustados a la “lógica” de esas pruebas. Cuando se enfrentan a un paciente real que presenta síntomas que no encajan con la descripción de manual, el modelo fuerza esos síntomas hacia la etiqueta más probable, lo que puede llevar a conclusiones incorrectas.^[3:1]

A eso se suma el sesgo de complacencia: los modelos están entrenados para mantener al usuario satisfecho, no para desafiar o corregir suposiciones erróneas en la consulta. ECRI lo señaló de forma directa (los chatbots tienen un sesgo a presentar la información que creen que el usuario quiere oír) y documentó que han sugerido diagnósticos incorrectos, recomendado pruebas innecesarias e incluso “inventado partes del cuerpo” al responder preguntas médicas, todo con el tono de un experto de confianza.^[2:1]

Hay un tercer patrón de falla, distinto de los dos anteriores y tan documentado como ellos: el sesgo demográfico. No es un riesgo teórico. Un estudio de 2019 publicado en la revista Science encontró que un algoritmo de riesgo muy usado en hospitales de Estados Unidos consideraba sistemáticamente más sanos a los pacientes negros que a pacientes blancos igual de enfermos, porque usaba el gasto histórico en salud como indicador de necesidad, y a los pacientes negros se les había gastado menos a lo largo de los años. El resultado: la cantidad de pacientes negros correctamente derivados a programas de cuidado complejo se redujo a la mitad.^[5] El mecanismo detrás de este caso puede repetirse con cualquier grupo cuyo acceso histórico a la salud haya sido desigual (por origen, por zona geográfica, por nivel socioeconómico): no es un problema exclusivo de un país. Un sistema de IA en salud tiene que probarse también para esto: si responde distinto, o peor, según el perfil del paciente.

Qué hay que evaluar en un agente de salud

Las pruebas en este vertical tienen que estar diseñadas alrededor de la seguridad del paciente, no solo de la calidad de la respuesta:

• Derivación segura (lo primero). ¿El agente escala a un humano (o recomienda buscar atención) ante consultas que lo requieren, especialmente en los extremos clínicos? Hay que diseñar casos que intenten que el bot opine cuando no debería, y verificar que en cambio derive.
• Precisión factual anclada a fuentes. Si el agente hace una afirmación, debería poder respaldarla con una fuente clínica aprobada; si no puede fundamentarla, debería decir “no puedo verificar esta información” en lugar de generar una respuesta sin sustento.^[3:2]
• Manejo de síntomas ambiguos o información incompleta. Ante un síntoma poco descrito, el agente debería preguntar antes de asumir, no adivinar. Asumir mal y responder con confianza es, en salud, el equivalente a diagnosticar a ciegas.
• Ausencia de diagnóstico no autorizado. Verificar que el sistema no se extralimita hacia territorio que corresponde a un profesional.
• Equidad entre pacientes. Que el agente no responda distinto, ni peor, según el género, la edad o el origen del paciente.
• Protección de datos del paciente. Que el agente no revele información de un paciente a otra persona, ni datos sensibles de salud que no corresponden a esa conversación.
• Manejo de información sensible y de crisis. Casos que evalúan cómo responde ante situaciones delicadas, con el tono y la contención adecuados, derivando a los canales humanos correspondientes.

La métrica estrella, de nuevo, es la derivación. Un agente de salud que nunca deriva es más peligroso que uno que deriva “de más”.

La línea que conviene no cruzar

Vale decirlo con todas las letras, porque es el corazón del asunto: estos chatbots, en general, no están regulados como dispositivos médicos ni validados para uso clínico, pero igual los usan clínicos, pacientes y personal de salud.^[1:2] El rol seguro de la IA en salud no es diagnosticar ni decidir: es asistir (resumir información, orientar trámites, responder consultas administrativas) y, sobre todo, saber cuándo callarse y derivar. Como resumió el CEO de ECRI, la medicina es una empresa fundamentalmente humana; los algoritmos no reemplazan la experiencia y el criterio de un profesional.^[2:2]

Por eso probar el sistema de forma independiente (no solo confiar en las pruebas internas del equipo que lo construyó) y de forma rutinaria (no una sola vez antes del lanzamiento, sino de manera continua) es lo que separa un despliegue responsable de uno temerario. Si millones de personas usan un sistema de IA para decidir si necesitan atención de urgencia, las pruebas no pueden ser un trámite previo al lanzamiento que después se olvida.

Cómo lo resuelve ArtificialQA

Verificar todo esto exige probar sistemáticamente, con casos diseñados alrededor de la derivación y la fundamentación, algo imposible de sostener revisando respuestas a mano. ArtificialQA conecta a tu agente de salud (por URL o por API, sin código) y lo evalúa en las dimensiones que importan en este vertical: en primer lugar la derivación correcta a un humano; la precisión factual y la ausencia de información inventada, verificando que cada afirmación se sostenga en la fuente aprobada; el manejo de preguntas ambiguas o síntomas poco descritos, premiando que el agente pregunte antes de asumir en vez de adivinar; la equidad de trato entre distintos perfiles de pacientes; la protección de datos sensibles del paciente; y el tono y la empatía en situaciones delicadas o de crisis. Cada ejecución queda registrada como evidencia, y la calibración de sus jueces hace que esos resultados sean confiables.

El objetivo no es que tu IA de salud responda más, sino que responda bien y, cuando corresponde, que sepa decir “esto es para un profesional”. En salud, esa frase a tiempo vale más que mil respuestas seguras. Medir que tu agente la diga cuando debe es, literalmente, una cuestión de seguridad del paciente.

Preguntas frecuentes

¿Por qué los chatbots de IA son el principal riesgo tecnológico en salud para 2026? Porque, según ECRI, generan respuestas que suenan autoritativas pero pueden ser inexactas, no están reguladas como dispositivos médicos ni validadas para uso clínico, y se usan cada vez más por clínicos y pacientes, lo que puede derivar en daño al paciente.

¿Qué métrica es la más importante al evaluar IA en salud? La tasa de derivación a un humano. A diferencia de otros sectores, en salud un agente que resuelve mucho sin escalar puede ser una señal de alarma: un sistema seguro empuja al usuario hacia el cuidado humano, no lo aleja, sin dejar de ser preciso en lo que sí responde.

¿Puede una IA hacer triage o diagnóstico médico? El consenso de seguridad es que la IA no debería diagnosticar ni decidir, sino asistir y derivar. Los modelos son menos seguros justo en los extremos clínicos, donde el juicio profesional es crítico. Estos sistemas en general no están validados como dispositivos médicos.

¿Qué se debe probar en un agente de salud? Ante todo la derivación segura a un humano; además, la precisión factual anclada a fuentes clínicas aprobadas, el manejo de síntomas ambiguos, la ausencia de diagnóstico no autorizado, la equidad de trato entre pacientes, la protección de sus datos, y el manejo adecuado de información sensible y situaciones de crisis.

¿Por qué un agente que responde “de más” es peligroso en salud? Porque puede dar una respuesta confiada en una situación que requería atención profesional, retrasando el cuidado. Un agente que deriva “de más” es más seguro que uno que nunca deriva.

¿El asistente tiene que avisar que es una IA? Sí. Es buena práctica en cualquier sector, y en la Unión Europea es una obligación legal a partir de agosto de 2026 (Artículo 50 del EU AI Act), salvo que sea obvio por el contexto.^[6] En salud pesa más todavía: un paciente no debería confundir al asistente con un profesional real. Es una verificación de diseño que conviene incluir en tus propios casos de prueba.

¿Por qué un algoritmo puede tratar distinto a pacientes de distintos grupos, si nadie lo programó para eso? Porque puede aprender patrones de datos históricos que reflejan desigualdades reales del sistema de salud (por ejemplo, cuánto se gastó en cada grupo de pacientes en el pasado), y repetirlas sin que nadie lo note si no se prueba específicamente para eso.