Quickstart en 5 minutos

Crear tu cuenta

Ve a app.artificialqa.com/signup.

Ingresa tu email y una contraseña, o regístrate con Google.

Te vamos a enviar un mail de verificación. Haz clic en el link para confirmar la cuenta. Solo después de verificar el email podrás iniciar sesión.

Tu organización y proyecto

Cuando entres por primera vez, ArtificialQA crea automáticamente una organización y un proyecto dentro de ella.

• La organización agrupa todo lo de tu empresa (usuarios, configuración, billing).
• Un proyecto es un agrupamiento lógico para los tests de un agente de IA puntual o un caso de uso específico.

Para empezar deja el proyecto que se creó por default; siempre puedes renombrarlo o crear más después.

Conectar tu primer agente

Ve al sidebar a Configuration → AI Agents y haz clic en + New Connection.

Configura los siguientes campos según el tipo de agente de IA:

Si tu agente de IA está embebido en una página web

• Name: un nombre identificable (ej: "Sitio comercial").
• Protocol: Browser.
• Chat URL: la URL donde está el chat (ej: https://miempresa.com/contacto).
• La ejecución corre en nuestros workers en la nube en modo headless (sin ventana visible).
• Si el chat requiere login, configura los Login Steps (selectores + acciones para llenar usuario y contraseña).

Si tu agente de IA tiene un endpoint HTTP/API (plan Pro o Enterprise)

• Name: un nombre identificable.
• Protocol: HTTP.
• Base URL: el endpoint del agente.
• Authentication: Bearer Token, API Key o Custom Headers según corresponda.
• Message Configuration: dónde inyectar el input del usuario y de qué campo extraer la respuesta.

Guarda la conexión. Una vez guardada, haz clic en Test Connection para validar que ArtificialQA puede comunicarse con tu agente de IA. Si el test responde OK, estás listo.

Crear tus primeros test cases

Hay 4 formas de crear test cases en ArtificialQA:

• Generándolos con IA (lo que vamos a hacer en este Quickstart).
• Manualmente uno por uno desde el editor.
• Importando un Excel o JSON con un template descargable.
• Trayéndolos del catálogo público de ArtificialQA (casos curados por industria).

Para empezar rápido, vamos por la generación con IA. Ve al sidebar a Test Design → AI Generation.

Configura la generación:

• Industry: elige la industria que mejor se ajusta a tu agente de IA (Healthcare, Finance, Customer Support, Insurance, etc. — hay 15 disponibles).
• Test Type: Simple Q&A (pregunta-respuesta) o Conversational (multi-turno).
• Quantity: cuántos casos generar (recomendamos empezar con 5).
• Language: Spanish o English.
• Additional Context: describe en lenguaje natural qué tipo de casos quieres (ej: "consultas de cotización de pólizas, reclamos por demoras, dudas sobre coberturas").

Más abajo en el form verás dos secciones avanzadas opcionales: User Tone (con qué tono simular al usuario) y Risk Categories (focalizar en vulnerabilidades como bias, hallucinations, prompt injection, etc.). Para una primera prueba puedes dejarlas en blanco. Más detalle en Diseñar tests.

Clic en Generate. La IA genera los casos en pocos segundos.

Los casos generados quedan en una vista de revisión. Para cada uno puedes editarlo (ajustar input, respuesta esperada, asserts) y después decidir su destino: enviarlo a tu catálogo de Test Cases, mandarlo directo a una Test Suite específica, o descartarlo.

Ejecutar el test contra tu agente de IA

La ejecución es la primera de las dos etapas finales: haces que tus test cases corran contra el agente de IA y se capturan las respuestas. Todavía no hay scoring — eso viene en el paso 6.

Necesitas 3 cosas para ejecutar:

1. Una Test Suite con los casos que quieras correr (Test Design → Test Suites → New Suite, agregar los casos).
2. Un Test Plan que combina la Test Suite con la Agent Connection (Test Design → Test Plans → New Plan).
3. Hacer clic en Run sobre el Test Plan creado.

La ejecución muestra el progreso en tiempo real (caso actual, completados, tiempos). Cuando termina, el Run queda marcado como Completed y aparece en la pestaña Ready to Evaluate de la página de Evaluations — listo para que lo califiquen los evaluadores en el siguiente paso.

Evaluar las respuestas y ver el reporte

La evaluación es la segunda etapa: las respuestas que capturaste en el paso anterior se le pasan a los evaluadores LLM para que las puntúen. Esto es lo que convierte un Run en un Evaluation Report con scores.

Ve a Execution → Evaluations, haz clic en Evaluate sobre la corrida y elige los evaluadores que quieras activar (no necesitas activar los 17 — usa los que tengan sentido para tu dominio).

Cuando termina la evaluación, haz clic en el run para ver el Evaluation Report:

• Score general y pass rate.
• Performance por evaluador.
• Detalle de cada test case: qué pasó, qué evaluador puntuó qué, justificación textual.
• Botón PDF Report para exportar el reporte completo.