Preguntas frecuentes
Las dudas que más nos llegan cuando alguien empieza a usar ArtificialQA. Si tu pregunta no está aquí, escríbenos desde artificialqa.com.
General
¿Qué es exactamente ArtificialQA?
Una plataforma para testear, evaluar y monitorear la calidad de agentes de IA. Generas casos, los ejecutas contra tu agente de IA real, los evalúas con asserts determinísticos y con 17 evaluadores LLM, y obtienes reportes auditables.
¿En qué se diferencia del testing tradicional?
El testing tradicional asume entrada → salida exacta. Los agentes de IA rompen esa premisa: la misma pregunta puede tener varias respuestas válidas. ArtificialQA está diseñada específicamente para evaluar respuestas no determinísticas combinando reglas duras con evaluación cualitativa por LLM.
¿Hace falta saber programar?
No para usar la plataforma de punta a punta. La generación con IA, la conexión por navegador, la creación de suites y la evaluación se hacen todas por UI. Programar es útil si vas a usar la API REST, los asserts con regex o JSON Schema, o si vas a integrar runs en tu CI.
Cuenta y planes
¿Necesito tarjeta para empezar?
No. El plan Free no requiere tarjeta y no tiene límite de tiempo.
¿Puedo cancelar en cualquier momento?
Sí. La cancelación tiene efecto al final del ciclo de facturación actual. No hay compromiso mínimo.
¿Cómo cambio de plan?
Por ahora el cambio de plan es asistido: tienes que escribirnos desde artificialqa.com o el correo de contacto y coordinamos contigo el upgrade/downgrade y el pago. La gestión online del pago y cambio de plan está en el roadmap, todavía no está habilitada.
¿Tienen descuento para startups o academia?
Lo evaluamos caso a caso. Escríbenos.
Generación con IA
¿Qué tan buenas son las preguntas que genera la IA?
Dependen mucho del contexto adicional que le pases. Cuanto más específico el contexto (qué hace tu agente de IA, qué tono debería tener, qué casos críticos te preocupan), mejores los casos. Por eso quedan en una vista de revisión donde puedes editar cada uno antes de mandarlo a tu catálogo o a una suite.
¿Qué industrias soporta?
15 industrias: general, customer support, healthcare, finance, ecommerce, travel, telecom, education, legal, hr, saas, insurance, real estate, food, safety. Cada una con un prompt afinado.
¿Puedo generar en español y en inglés?
Sí, ambos idiomas soportados.
Conexión con el agente de IA
¿Mi agente de IA tiene que estar accesible públicamente?
Para Browser, la URL del chat tiene que ser alcanzable desde nuestros workers de ejecución. Para HTTP, el endpoint también. Si tu agente de IA vive detrás de una VPN o IP allowlist, contáctanos para ver cómo coordinar.
¿Qué pasa si mi agente de IA tiene login?
En Browser, defines los Login Steps: la secuencia de selectores y acciones para autenticarte antes de empezar a chatear. La plataforma los ejecuta antes de cada caso.
¿Puedo testear varios entornos del mismo agente de IA?
Sí. Creas múltiples Agent Connections (uno por entorno: dev, staging, producción) y armas Test Plans contra cada uno.
Tokens y consumo
¿Cuándo se consumen tokens?
En generación con IA, en evaluación con LLM, en los reportes mejorados con IA (Enterprise) y al ejecutar Test Plans contra agentes de IA con conexión Browser (Playwright) — porque la plataforma usa un LLM (AI Locator) para detectar dinámicamente el chat dentro de la página. Cuando ejecutas contra una conexión HTTP/API, la llamada al endpoint propio de tu agente de IA no consume tokens.
¿Qué pasa si me quedo sin tokens?
Te avisamos al llegar al 80% de tu cupo. Cuando llegas al 100%, las operaciones que consumen tokens se pausan hasta el próximo ciclo o un upgrade. La ejecución vía conexión HTTP/API sigue disponible (no consume tokens). Si necesitás paquetes extras de tokens sobre tu plan actual, contactanos y lo armamos.
¿Los tokens del Free se acumulan si no los uso?
No. Los cupos se renuevan cada mes; no se acumulan.
Evaluación
¿Tengo que activar los 17 evaluadores siempre?
No. Activa solo los que tengan sentido para tu caso de uso. Para customer support general suelen alcanzar 5–7 evaluadores; para dominios críticos (salud, finanzas) conviene activar más, especialmente data_accuracy, hallucination, security.
¿Puedo confiar en el score de un evaluador LLM?
Sí. Los 17 evaluadores vienen pre-calibrados por nuestro equipo: validamos cada uno contra datasets de referencia para garantizar que sus scores sean confiables antes de habilitarlos en producción. Más detalle en Seguridad y compliance.
¿Los evaluadores siempre puntúan igual?
Hay variabilidad inherente al usar LLMs. Para reducirla usamos prompts estables y temperatura baja, pero el resultado nunca es 100% determinístico — es por diseño cuando se evalúa lenguaje. La calibración interna asegura que esa variabilidad se mantenga dentro de un margen aceptable.
Datos y privacidad
¿Dónde se guardan los datos?
En infraestructura cloud con cifrado en reposo y tránsito. Si tienes requerimientos de residencia de datos por región, lo coordinamos en plan Enterprise.
¿Usan mis datos para entrenar modelos?
No. Los datos de tu organización se usan exclusivamente para operar tu instancia de la plataforma. No alimentamos modelos de IA con datos de clientes.
¿Pueden borrar mis datos si dejo de usar la plataforma?
Sí. Solicitas la baja y procedemos a la eliminación según los plazos previstos en nuestra política. Para clientes Enterprise lo formalizamos en el DPA.
Integraciones
¿Tienen integración con Slack/Jira?
Hoy no de manera nativa. Está en el roadmap. Mientras tanto, con la API REST puedes armar el puente.
¿Tienen SDK?
SDK oficiales todavía no. La API REST está disponible (plan Enterprise) y es estándar — funciona desde cualquier lenguaje que haga HTTP.
Si nada de esto resuelve tu duda
Escríbenos desde artificialqa.com. Las preguntas reales de los usuarios son las que terminan dando forma a esta sección.