Evidencia auditable de la calidad de tu IA: las 7 preguntas que hará el auditor

Hay una forma rápida de saber si la calidad de tu IA es auditable: imaginar la reunión. Un auditor se sienta frente a tu equipo y hace preguntas. Puede venir del regulador, de un cliente enterprise o de la certificación ISO que tu empresa persigue, y en los tres casos pregunta lo mismo. No le interesan las intenciones ni las demos: le interesan los registros. La diferencia entre “testeamos mucho” y “aquí está la evidencia” es exactamente la diferencia entre una mala tarde y una auditoría aprobada.

Este artículo es esa reunión, simulada. Las siete preguntas que un auditor de IA hace en algún orden, y el artefacto concreto que responde cada una. Si puedes producir los siete, tienes evidencia auditable; cada hueco es tu lista de tareas. Es, en el fondo, la prueba práctica de la IA responsable: no lo que la organización declara, sino lo que puede mostrar.

Pregunta 1: “¿Qué probaron, exactamente?”

El artefacto: el plan de pruebas versionado. La lista de casos (pregunta, contexto, criterio de éxito), organizada por tema y por riesgo, con su historial de versiones. El punto que los auditores miran primero: que los casos cubran los riesgos declarados del sistema (si mapeaste “el agente podría inventar tasas”, debe existir el plan que lo prueba). Un plan sin trazabilidad al análisis de riesgo responde qué probaste pero no por qué eso era lo que había que probar.

Pregunta 2: “¿Contra qué criterio decidieron que ‘pasa’?”

El artefacto: los criterios y umbrales escritos antes de la ejecución. Qué debe cumplir cada respuesta, qué comportamientos son bloqueantes y qué puntaje mínimo exige cada dimensión, con fecha anterior a los resultados. Este orden temporal importa: criterios definidos después de ver los resultados son la versión QA de dibujar el blanco alrededor de la flecha, y un auditor experimentado lo detecta comparando fechas.

Pregunta 3: “¿Quién o qué evaluó las respuestas, y por qué debería confiar en ese evaluador?”

El artefacto: la evidencia de calibración de los jueces. Esta es la pregunta que la mayoría de los equipos no puede responder. Si las respuestas las puntuó un LLM-as-a-judge, el auditor razonable pregunta lo obvio: ¿y quién evaluó al juez? La respuesta auditable es el registro de calibración: qué evaluadores se usaron, en qué versión, con qué estado de calibración y qué desviación contra el criterio experto. Un puntaje de un juez sin calibrar es una opinión con decimales; el mismo puntaje con su calibración registrada es una medición.

Pregunta 4: “Muéstrenme los resultados. Todos.”

El artefacto: los registros de ejecución completos e inmutables. Cada corrida con fecha, versión del agente evaluado, casos ejecutados, respuestas obtenidas y puntajes por dimensión, incluidas las ejecuciones que salieron mal. La tentación de archivar solo las corridas verdes es exactamente lo que convierte la evidencia en propaganda: la credibilidad del expediente viene de que muestra el 71% de marzo junto al 94% de junio, con las acciones intermedias documentadas.

Pregunta 5: “¿Y esto cuándo lo probaron por última vez?”

El artefacto: la serie temporal. El testing de IA que se hizo una vez es evidencia de arqueología, no de calidad: los modelos cambian por debajo, el contexto del negocio cambia por arriba. Lo que un auditor quiere ver es la cadencia: ejecuciones ante cada cambio relevante (prompt, modelo, políticas) más ejecuciones programadas, y el monitoreo de producción con sus alertas. La pregunta de fondo es si la organización sabría que el sistema se degradó; una serie temporal con umbrales la responde.

Pregunta 6: “¿Qué pasó cuando algo falló?”

El artefacto: el registro de incidentes con su ciclo completo. Detección, diagnóstico, corrección y el caso de prueba permanente que nació del incidente. Ese último eslabón es el que distingue a los equipos maduros. Un expediente sin ningún incidente registrado no tranquiliza a un auditor: lo alarma, porque significa que el sistema de detección no funciona o que nadie registra. El expediente creíble muestra fallas encontradas, tratadas y convertidas en regresión.

Pregunta 7: “¿Quién firmó el go-live, con qué información?”

El artefacto: la decisión de aprobación documentada. Nombre, fecha y el reporte de resultados sobre el que se decidió, con cada dimensión contra su umbral en el momento de la firma. Esto cierra el círculo con la gobernanza: los marcos de gestión de riesgo de IA (NIST AI RMF, ISO/IEC 42001) y las regulaciones con obligaciones de trazabilidad y documentación técnica (como el EU AI Act para sistemas de alto riesgo) convergen en esta idea: alguien identificable decidió, sobre evidencia identificable.^[1]

La prueba del espejo

Releídas en conjunto, las siete preguntas tienen algo en común: ninguna se responde con esfuerzo retroactivo. La evidencia auditable no se fabrica la semana antes de la auditoría: se acumula sola cuando el proceso de calidad la genera como subproducto. Esa es la vara para evaluar tu proceso actual. ¿Tu testing produce estos siete artefactos sin trabajo extra, o produce resultados que alguien tendría que convertir en expediente a mano?

Es también el criterio de diseño de ArtificialQA: cada ejecución queda registrada con su fecha, sus casos, sus criterios, los puntajes por dimensión y el estado de calibración de los evaluadores que los produjeron; las ejecuciones se comparan en el tiempo, y el conjunto es exportable como el expediente que las siete preguntas piden. La auditoría deja de ser un proyecto y pasa a ser una consulta.

Preguntas frecuentes

¿Qué significa que la evidencia sea “auditable”? Que un tercero pueda reconstruir qué se probó, contra qué criterio, con qué evaluador, cuándo, con qué resultado y quién decidió qué con esa información, a partir de registros con fecha y versión, no de la memoria del equipo.

¿Quién puede pedirme esta evidencia? Reguladores (según jurisdicción e industria), auditores de certificaciones (ISO/IEC 42001), clientes enterprise en sus procesos de due diligence, aseguradoras al evaluar coberturas, y tu propio directorio después de un incidente. La lista crece cada año; el expediente es el mismo para todos.

¿Los resultados de un LLM-as-a-judge sirven como evidencia? Sirven si el juez es defendible: versión registrada, calibración documentada contra criterio experto y criterios de evaluación explícitos. Sin eso, el auditor tiene razón en tratarlos como opinión automatizada.

¿Cuánto tiempo hay que retener los registros? Depende de la jurisdicción y la industria; las obligaciones de documentación del EU AI Act para alto riesgo, por ejemplo, tienen plazos propios.^[1:1] Define la retención con tu equipo legal. Técnicamente, lo importante es que los registros sean completos e inmutables desde el día uno.

¿Y si mi evidencia actual muestra resultados mediocres? Es mejor expediente que ninguno: la evidencia de un 78% con plan de mejora y tendencia ascendente es defendible; la ausencia de medición no lo es. Los marcos piden gestión del riesgo, no perfección.

Este artículo es informativo y no constituye asesoría legal. Verifica tus obligaciones concretas con tu equipo legal o de compliance.