Capítulo 5 · Marco SaaS maestro de ProjectVIEW ERP
Ningún lanzamiento, actualización o upgrade llega al entorno de Producción de un cliente sin superar el ciclo de pruebas del Capítulo 5. Las pruebas combinan AI Testing Agents, configurados con los módulos, las reglas de negocio y el esquema de datos del cliente, con simulación integral de flujos de datos, simulación de interacción de usuario, validación de integridad de datos y Pruebas Universales de Aceptación de Usuario (UAT) con aprobación escrita del cliente.
- 0 lanzamientos a producción sin pruebas completadas
- Agentes de IAautomatización de pruebas específica del cliente
- UATaprobación escrita antes de la puesta en marcha
5.1 Resumen y propósito
Este capítulo establece el marco de Calidad y Pruebas de Software (SQT) que rige cómo el Proveedor asegura la corrección funcional, la integridad del rendimiento y la fiabilidad de los datos de ProjectVIEW ERP antes de cada despliegue en el entorno de Producción del Cliente.
Ningún Release, Update o Upgrade (según se define en Capítulo 1, §1.4) podrá promoverse a Producción sin completar satisfactoriamente el ciclo de pruebas descrito en este documento.
El Proveedor opera una metodología de pruebas diferenciada y aumentada con IA que aprovecha AI Testing Agents personalizados, construidos sobre el marco de pruebas propietario del Proveedor para interactuar directamente con cada instancia de ProjectVIEW ERP del Cliente. Este enfoque permite la simulación automatizada de flujos de datos de extremo a extremo, escenarios realistas de interacción de usuario y una validación integral de la integridad de los datos, capacidades que superan con creces la QA manual convencional o basada en scripts.
Además de la prevención de defectos, el marco SQT incorpora un servicio proactivo de Asesoría de Optimización de Procesos, mediante el cual se analizan los resultados de los agentes de IA para identificar ineficiencias en los flujos de trabajo, anomalías de configuración y oportunidades de mejora del modelo de datos dentro de cada despliegue del Cliente. Estos hallazgos se entregan como recomendaciones accionables durante las Revisiones Trimestrales del Servicio (§3.9).
5.2 Alcance
El marco SQT se aplica a todos los artefactos de software desplegados en los entornos del Cliente bajo este Marco, incluidos, entre otros:
- (a) Releases/Updates (v11.xx) — cambios incrementales específicos del cliente entregados mediante sprints ágiles de 3 días (§4.7).
- (b) Upgrades (v11 → v12) — cambios de versión mayor para todo el producto entregados aproximadamente una vez al año (§4.8).
- (c) Cambios de configuración — activación de módulos, personalización de flujos de trabajo, plantillas de informes y ajustes de roles y permisos.
- (d) Artefactos de migración de datos — transformaciones de importación, scripts ETL, parches de migración de esquema.
- (e) Interfaces de integración — puntos finales de API, controladores de webhooks, adaptadores de conectores de terceros.
- (f) Cambios de infraestructura — actualizaciones del motor de base de datos, upgrades de versiones de middleware, rotaciones de certificados TLS.
El marco SQT cubre tanto las pruebas internas del Proveedor (§5.4–§5.7), realizadas antes de la UAT del Cliente, como la Prueba Universal de Aceptación de Usuario del Cliente (§5.8), que actúa como la puerta formal de preparación para Producción.
5.3 Marco de pruebas aumentado con IA
5.3.1 Resumen de la arquitectura
El Proveedor utiliza una plataforma de pruebas de IA diseñada específicamente que comprende tres capas principales:
| Capa | Componente | Función |
|---|---|---|
| Orquestación | AI Testing Framework AI Agents | Agentes de IA personalizados que interpretan las especificaciones de prueba, generan escenarios de prueba, ejecutan secuencias de prueba y evalúan los resultados de forma autónoma. |
| Integración | capa de integración segura de API | Protocolo de estándar abierto que permite a los AI Testing Agents interactuar con las APIs de ProjectVIEW ERP, los endpoints de base de datos y los hooks de automatización de la interfaz de usuario de una manera estructurada y auditable. |
| Ejecución | Entornos de prueba por cliente | Entornos Dev/Sandbox dedicados (§2.5.1) aprovisionados para cada Cliente, poblados con datos anonimizados equivalentes a producción para garantizar la fidelidad de las pruebas. |
5.3.2 AI Testing Agents
A cada instancia de ProjectVIEW ERP de un Cliente se le asigna uno o más AI Testing Agents personalizados, configurados con conocimiento específico del dominio del Cliente sobre:
- Configuración de módulos: módulos activados (por ejemplo, Project-Management, Contract-Management, Quality-Management) y sus interdependencias.
- Reglas de negocio: flujos de aprobación, matrices de escalamiento, reglas de notificación y fórmulas de cálculo específicas de los requisitos operativos del Cliente.
- Esquema de datos: campos personalizados, tablas de búsqueda, dominios de valores codificados y restricciones de integridad relacional configurados en la instancia del Cliente.
- Taxonomía de roles: roles de usuario, conjuntos de permisos y reglas de segregación de funciones aplicables a la organización del Cliente.
- Mapa de integración: sistemas de terceros conectados (contabilidad, RR. HH., gestión documental, BI) y sus contratos de intercambio de datos.
Los agentes de IA se versionan junto con la base de código de la aplicación utilizando la estrategia de branching Git del Proveedor (Master → Client → Working branches, §4.7.2), lo que garantiza que las configuraciones de prueba evolucionen en paralelo con el software que validan.
5.3.3 Integración segura de API
La capa de integración segura de API proporciona la capa de comunicación estructurada entre los AI Testing Agents y ProjectVIEW ERP, permitiendo:
- (a) Invocación de API: Los agentes invocan las APIs REST/GraphQL de ProjectVIEW para crear, leer, actualizar y eliminar registros, simulando transacciones reales de usuario sin depender de la interfaz de usuario.
- (b) Inspección de base de datos: Acceso de solo lectura a la base de datos Dev/Sandbox del Cliente para validar restricciones de integridad de datos, consistencia referencial y campos calculados después de la transacción.
- (c) Hooks de automatización de la interfaz de usuario: Cuando la lógica de negocio está estrechamente acoplada al front-end (por ejemplo, visibilidad condicional de campos, validación dinámica de formularios), la capa de integración canaliza las instrucciones del agente a través de una interfaz de navegador sin cabeza que renderiza fielmente la interfaz de usuario de ProjectVIEW.
- (d) Captura de eventos: Todas las interacciones entre el agente y el ERP se registran en una pista de auditoría inmutable, incluidos los payloads de solicitud, los códigos de respuesta, las métricas de tiempo y los resultados de las aserciones.
Las conexiones API se autentican mediante tokens de API de corta duración y con ámbito restringido que conceden solo los permisos necesarios para el conjunto de pruebas actual. Los tokens se rotan automáticamente por cada sesión de prueba y no pueden utilizarse contra entornos de Producción.
5.4 Metodología de pruebas
5.4.1 Niveles de prueba
El ciclo de pruebas del Proveedor abarca cinco niveles progresivos, cada uno con criterios de entrada, criterios de salida y responsabilidades definidos:
| Nivel | Nombre | Alcance | Método | Criterios de salida |
|---|---|---|---|---|
| L1 | Pruebas unitarias | Funciones individuales, métodos, procedimientos almacenados | Automatizadas: pruebas escritas por desarrolladores y ejecutadas en la canalización CI/CD | El 100% de las unidades nuevas o modificadas aprueba; cobertura de código ≥ 80% |
| L2 | Pruebas de integración | Flujos de datos entre módulos, contratos de API, propagación de eventos | Agente de IA: los AI Testing Agents ejecutan transacciones entre módulos a través de la capa de integración segura de API | Todos los escenarios de integración aprueban; no hay fuga de datos entre módulos |
| L3 | Pruebas del sistema | Procesos de negocio de extremo a extremo dentro de toda la pila de aplicación | Agente de IA: los agentes simulan recorridos completos de usuario (por ejemplo, creación de proyecto → compras → facturación → reporting) | Todos los escenarios de ruta crítica aprueban; el rendimiento está dentro de los umbrales SLO |
| L4 | Pruebas de regresión | Funcionalidad previamente validada después de cambios en el código | Agente de IA: los agentes vuelven a ejecutar todo el conjunto de regresión contra la configuración del Cliente | Cero fallos de regresión; sin degradación de los tiempos de respuesta > 10% |
| L5 | Pruebas de aceptación de usuario (UAT) | Validación de procesos de negocio por parte de los interesados del Cliente | Ejecutado por el Cliente: con el apoyo del Proveedor mediante plantillas de casos de prueba, preparación de datos y triage de defectos | Aprobación escrita de UAT por parte del representante autorizado del Cliente (§5.8) |
5.4.2 Entornos de prueba
Todas las pruebas del lado del Proveedor (L1–L4) se ejecutan exclusivamente en el entorno Dev/Sandbox dedicado del Cliente (§2.5.1). Este entorno es:
- Arquitectónicamente idéntico a Producción, con la misma versión del motor de base de datos, pila de middleware y build de la aplicación.
- Poblado con datos anonimizados equivalentes a producción, con volumen y variedad suficientes para ejercitar casos límite realistas sin exponer datos personales.
- Aislado, sin conectividad de red con Producción; con namespace DNS y realm de autenticación separados.
- Restaurable, con capacidad de snapshot/restore que permite ejecuciones repetibles de pruebas desde una línea base conocida y correcta.
Después del Go-Live, el entorno Dev/Sandbox pasa a un rol de Staging (§2.5.1), conservando todas las propiedades anteriores y sirviendo además como entorno de UAT para el Cliente.
5.5 Simulación integral de flujo de datos
5.5.1 Objetivos de la simulación
Los agentes de IA simulan flujos de datos realistas de extremo a extremo que recorren todo el ciclo de vida de una transacción de negocio dentro de ProjectVIEW ERP. Los objetivos son:
- (a) Validar que los datos creados en un módulo se propaguen, transformen y estén disponibles correctamente en todos los módulos posteriores.
- (b) Confirmar que las reglas de negocio (cadenas de aprobación, notificaciones, cálculos) se ejecutan correctamente en cada etapa.
- (c) Verificar que las acciones concurrentes de los usuarios no provoquen condiciones de carrera, interbloqueos ni corrupción de datos.
- (d) Medir la latencia y el rendimiento de las transacciones frente a los umbrales SLO definidos (§3.3).
5.5.2 Escenarios de simulación
El Proveedor mantiene una biblioteca de escenarios de simulación parametrizados, cada uno mapeado a un proceso de negocio central de ProjectVIEW. La siguiente tabla ilustra escenarios representativos; la biblioteca completa se adapta por Cliente en función de los módulos activados y su configuración:
| ID del escenario | Proceso de negocio | Módulos recorridos | Aserciones clave |
|---|---|---|---|
| SIM-001 | Inicio del proyecto → Aprobación de presupuesto → Compras | Project-Management, Budget-Management, Procurement-Management | Se aplica el tope presupuestario; la OC se vincula automáticamente a la línea presupuestaria; el flujo de aprobación se activa para importes > umbral |
| SIM-002 | Registro de partes de horas → Asignación de costes → Generación de factura | Resource-Management, Cost-Management, Invoicing | Las horas se imputan correctamente a las tarifas contractuales; los conceptos de factura concilian con las hojas de horas aprobadas |
| SIM-003 | Orden de cambio → Variación → Revisión de presupuesto → Facturación al cliente | Contract-Management, Change-Management, Budget-Management, Invoicing | El valor de la variación se propaga al presupuesto; la facturación al cliente refleja el importe de la variación aprobada |
| SIM-004 | Inspección de calidad → No conformidad → Acción correctiva → Cierre | Quality-Management, Document-Management | Se genera automáticamente una NCR; la acción correctiva se sigue hasta su cierre; la trazabilidad documental está completa |
| SIM-005 | Onboarding de subcontratista → Verificación de seguros → Asignación de trabajo | Subcontractor-Management, Compliance, Resource-Management | Un seguro vencido bloquea la asignación; se envía notificación al subcontratista y al PM |
5.5.3 Carga de datos y ejecución del escenario
Antes de cada ejecución de simulación, los agentes de IA realizan de forma autónoma:
- (a) Cargar datos previos necesarios: crear registros maestros (proyectos, proveedores, usuarios, códigos de coste) requeridos como entradas para el escenario en prueba.
- (b) Ejecutar la cadena de transacción: invocar las APIs de ProjectVIEW a través de la capa de integración segura de API para realizar cada paso del proceso de negocio en la secuencia correcta, con valores de datos y intervalos de tiempo realistas.
- (c) Asertar en cada punto de control: después de cada paso, el agente consulta la base de datos y/o la API para confirmar que se ha producido el cambio de estado esperado (registro creado/actualizado, flujo de trabajo avanzado, notificación enviada).
- (d) Capturar evidencia: cada llamada a la API, consulta a la base de datos, resultado de aserción y medición de tiempo se registra en un repositorio inmutable de evidencias de prueba vinculado al ticket de despliegue.
- (e) Limpiar: al finalizar, el agente restaura el entorno a la línea base utilizando la capacidad de snapshot/restore, garantizando que ningún artefacto de prueba contamine ejecuciones posteriores.
5.6 Simulación de interacción de usuario
5.6.1 Propósito
Mientras que las pruebas a nivel de API (§5.5) validan la lógica de backend, la Simulación de Interacción de Usuario valida que la interfaz de usuario de ProjectVIEW se comporte correctamente cuando la operan usuarios humanos. Los agentes de IA replican interacciones de usuario realistas, entre ellas:
- Cumplimentación de formularios con datos válidos, no válidos y de valor límite.
- Navegación por flujos de trabajo de varios pasos (wizards, cadenas de aprobación, secuencias de carga de documentos).
- Aplicación de accesos basados en roles: los agentes impersonan usuarios con distintos conjuntos de roles y permisos para confirmar que los elementos de la interfaz se muestran u ocultan, habilitan o deshabilitan correctamente.
- Comportamiento adaptable: pruebas en tamaños de viewport de escritorio y tableta para confirmar la integridad del diseño.
- Cumplimiento de accesibilidad: verificación de que la navegación por teclado, los atributos ARIA y las relaciones de contraste cumplen los requisitos WCAG 2.1 AA.
5.6.2 Escenarios de interacción
Las simulaciones de interacción de usuario se estructuran alrededor de scripts de prueba basados en perfiles:
| Perfil | Rol | Interacciones clave probadas |
|---|---|---|
| Project Manager | PM | Creación de proyectos, asignación de equipo, registro de presupuesto, seguimiento de hitos, generación de informes, inicio de órdenes de cambio |
| Site Engineer | Field User | Registro diario, inspección de calidad, carga de fotos, lista de verificación de seguridad, envío de hoja de horas |
| Procurement Officer | Buyer | Solicitud de compra, comparación de proveedores, aprobación de OC, recepción de mercancía, conciliación de facturas |
| Finance Controller | Finanzas | Revisión de costes, análisis de variaciones presupuestarias, aprobación de facturas, certificación de pagos, cierre de fin de período |
| Contract Administrator | Contratos | Registro de contratos, procesamiento de variaciones, gestión de reclamaciones, verificaciones de cumplimiento de subcontratistas |
| Executive / Client | Solo lectura / Aprobador | Vistas de panel, desglose de KPI, revisión de documentos, acciones de aprobación en móvil |
5.6.3 Clasificación de defectos
Los defectos identificados durante la simulación de interacción de usuario se clasifican usando la misma taxonomía de severidad que los incidentes operativos (§4.3):
| Gravedad | Definición (contexto de UI) | Ejemplo | Acción |
|---|---|---|---|
| P1 — Crítico | Cierre de la aplicación, pérdida de datos, omisión de seguridad | El envío del formulario elimina registros no relacionados; el panel de administración es accesible sin autenticación | Corrección inmediata; bloquea el despliegue |
| P2 — Alto | Flujo principal roto, sin solución alternativa | El botón de aprobación no responde; falta la validación de campos obligatorios | Corregir antes de la liberación de UAT |
| P3 — Medio | Funcionalidad degradada pero con solución alternativa disponible | Orden de clasificación incorrecto en la vista de lista; el selector de fechas usa por defecto la zona horaria incorrecta | Corregir en el sprint actual si la capacidad lo permite |
| P4 — Bajo | Problema cosmético o de usabilidad menor | Etiqueta desalineada; texto emergente truncado | En cola para el backlog |
5.7 Validación de integridad de datos
5.7.1 Alcance
La integridad de los datos se valida en tres niveles después de cada ejecución de prueba y antes de cualquier promoción del despliegue:
| Nivel | Validación | Método |
|---|---|---|
| Referencial | Todas las relaciones de clave foránea están intactas; no existen registros huérfanos | El AI Testing Agent ejecuta consultas SQL de integridad referencial contra todo el esquema |
| Computacional | Los campos calculados, agregaciones y valores de consolidación son matemáticamente correctos | El agente compara los valores calculados con resultados esperados calculados de forma independiente |
| Temporal | Las pistas de auditoría están completas; cada registro tiene marcas de tiempo válidas de creación/modificación y atribución de usuario | El agente verifica la integridad del registro de auditoría y la consistencia cronológica |
5.7.2 Aserciones de integridad
El AI Testing Agent ejecuta las siguientes aserciones de integridad al cierre de cada escenario de simulación:
(a) Cero huérfanos: las consultas SELECT en todas las tablas puente e hijas confirman que ningún registro hace referencia a registros padre inexistentes. (b) Verificación de balances: para los módulos financieros, el total de débitos es igual al total de créditos dentro de cada centro de costes; presupuesto comprometido + real + remanente = presupuesto total. (c) Integridad de secuencia: las secuencias con numeración automática (números de documento, IDs de transacción) no contienen saltos ni duplicados. (d) Seguridad de concurrencia: los hilos paralelos de agentes que ejecutan actualizaciones en conflicto producen resultados deterministas y correctos con las respuestas de bloqueo optimista apropiadas. (e) Cifrado en reposo: los campos sensibles (PII, datos financieros) se almacenan cifrados en la base de datos; el texto plano solo está disponible a través de la capa de descifrado de la aplicación.
5.7.3 Informe de integridad de datos
Cada ciclo de prueba genera un Informe de Integridad de Datos automatizado que contiene:
- Total de aserciones ejecutadas y recuento de aprobados/suspensos.
- Registros detallados de fallos con tabla, columna, ID de registro, valor esperado y valor real.
- Análisis de tendencias comparando las puntuaciones de integridad de los últimos diez ciclos de prueba para identificar patrones de degradación.
- Acciones de remediación adoptadas, corregidas automáticamente frente a escaladas al desarrollo.
Los Informes de Integridad de Datos se adjuntan al ticket de despliegue y se incluyen en el paquete de evidencias de UAT proporcionado al Cliente.
5.8 Pruebas universales de aceptación de usuario (UAT)
5.8.1 Requisitos previos de UAT
El Proveedor no invitará al Cliente a iniciar la UAT hasta que se cumplan los siguientes requisitos previos:
- (a) Todos los niveles de prueba L1–L4 se han completado sin defectos P1/P2 pendientes.
- (b) El Informe de Integridad de Datos (§5.7.3) muestra una tasa de aprobación de aserciones del 100%.
- (c) El entorno Staging del Cliente se ha refrescado con el build candidato.
- (d) Las plantillas de casos de prueba, los datos de prueba y las credenciales de usuario se han preparado y comunicado al responsable de UAT designado por el Cliente.
5.8.2 Ejecución de UAT
La UAT es ejecutada por los representantes designados del Cliente utilizando el entorno Staging. El Proveedor deberá:
- Proporcionar plantillas estructuradas de casos de prueba alineadas con los procesos de negocio del Cliente.
- Preparar datos de prueba realistas que reflejen escenarios de producción sin exponer datos personales.
- Poner el Service Desk a disposición para el registro de defectos, triage y resolución durante la ventana de UAT.
5.8.3 Aprobación de UAT
No se procederá con ningún despliegue a Producción sin una aprobación escrita de UAT del representante autorizado del Cliente. El documento de aprobación deberá confirmar que el Cliente ha validado la liberación frente a sus criterios de aceptación y autoriza su promoción a Producción.
Si el Cliente no proporciona la aprobación o el rechazo dentro de los diez (10) Días Hábiles posteriores a la fecha de inicio de la UAT, el Proveedor emitirá un recordatorio por escrito. Si no se recibe respuesta dentro de cinco (5) Días Hábiles adicionales, se considerará que la liberación ha sido aceptada por el Cliente.
5.8.4 Gestión de defectos de UAT
Los defectos identificados durante la UAT se gestionan a través del Sistema de Ticketing Integrado (§4.1) y se clasifican según la taxonomía de severidad del §5.6.3. Se aplican las siguientes reglas:
- Defectos P1/P2: Bloquean la conformidad de UAT. El Proveedor deberá subsanar y volver a presentar la funcionalidad afectada dentro del ciclo de sprint en curso.
- Defectos P3: No bloquean la aprobación. El Proveedor los remediará en el sprint siguiente y confirmará la resolución al Cliente.
- Defectos P4: Se registran en el backlog. La remediación se programa en función de la capacidad disponible y del aporte de prioridad del Cliente.
5.9 Asesoría de optimización de procesos
5.9.1 Resumen
Una capacidad exclusiva habilitada por el marco de pruebas potenciado con IA del Proveedor es la posibilidad de generar información práctica para la optimización de procesos derivada del análisis de los datos de ejecución de pruebas. Este servicio transforma las pruebas, de un mero control defensivo de calidad, en una actividad proactiva de creación de valor para el Cliente.
5.9.2 Generación de insights
Durante la ejecución de pruebas, los agentes de IA capturan y analizan continuamente:
- (a) Patrones de latencia de las transacciones: Identificación de pasos del flujo de trabajo que consumen de forma constante un tiempo de procesamiento desproporcionado, lo que indica posibles cuellos de botella en las reglas de negocio o en los patrones de acceso a datos.
- (b) Frecuencias de excepciones: Catalogación de fallos de validación, rechazos por reglas de negocio y denegaciones de aprobación para poner de relieve puntos de fricción del proceso que pueden indicar reglas mal configuradas o una guía de usuario poco clara.
- (c) Anomalías de calidad de datos: Detección de patrones de registros incompletos, uso excesivo de valores predeterminados o errores sistemáticos de captura de datos que sugieren rediseño de formularios o ajustes de campos obligatorios.
- (d) Conflictos de permisos: Identificación de combinaciones de rol y permisos que generan cuellos de botella innecesarios en las aprobaciones o, por el contrario, brechas en la segregación de funciones.
- (e) Funcionalidades infrautilizadas: Señalización de módulos o funcionalidades activados que están configurados pero no se ejercitan en escenarios de prueba realistas, lo que indica posibles carencias de formación o costes de licencia innecesarios.
5.9.3 Entrega de recomendaciones
Las recomendaciones de optimización de procesos son:
- Compilado: En un Process Optimisation Report estructurado tras cada gran ciclo de pruebas (Sprint Release o Upgrade).
- Clasificadas: Por impacto (alto/medio/bajo), esfuerzo (cambio de configuración, desarrollo menor, desarrollo mayor) y riesgo (sin riesgo, bajo riesgo, requiere UAT).
- Presentadas: Al Cliente durante la Quarterly Service Review (3.9) por el Service Delivery Manager.
- Registradas: Como acciones en el registro de Continuous Service Improvement (CSI) (4.10), con plazos y responsables acordados.
5.9.4 Limitaciones del alcance
El Process Optimisation Advisory se proporciona con carácter informativo. La implementación de cualquier recomendación constituye un cambio de configuración o una solicitud de desarrollo regida por los procesos aplicables de gestión de cambios y planificación de sprints (4.6, 4.7). El Proveedor no implementará cambios de optimización sin la aprobación del Cliente y, cuando corresponda, sin una formal Scope Change Request (2.7).
5.10 Gobernanza e informes de pruebas
5.10.1 Repositorio de evidencias de prueba
El Proveedor mantendrá un repositorio centralizado e inmutable de evidencias de prueba para cada Cliente, que contendrá:
- Planes de prueba y especificaciones de casos de prueba para cada despliegue.
- Registros de ejecución de los agentes de IA (trazas completas de interacción con la API, marcas de tiempo y resultados de las aserciones).
- Informes de integridad de datos (5.7.3).
- Informes de optimización de procesos (5.9.3).
- Paquetes de evidencias de UAT (resultados de casos de prueba, registros de defectos, documentos de conformidad).
- Historial de evolución de la suite de regresión (casos de prueba añadidos, modificados o retirados de forma obsoleta).
Las evidencias de prueba se conservarán durante la vigencia del Framework más doce (12) meses, o durante el plazo exigido por la normativa aplicable de protección de datos (GDPR Art. 5(1)(e); UAE PDPL Art. 5), lo que sea más largo.
5.10.2 Métricas de calidad
El Proveedor hará seguimiento e informará de las siguientes métricas de calidad, incluidas en la Quarterly Service Review (3.9):
| Métrica | Definición | Objetivo |
|---|---|---|
| Tasa de escape de defectos | Número de defectos encontrados en Producción que deberían haberse detectado en las pruebas, como porcentaje del total de defectos del despliegue | < 2% |
| Cobertura de pruebas | Porcentaje de procesos de negocio configurados cubiertos por escenarios de prueba automatizados con agentes de IA | ≥ 90% |
| Tasa de aprobación de regresión | Porcentaje de casos de prueba de regresión que pasan sin modificaciones en cada nueva compilación | ≥ 98% |
| Tiempo medio de resolución de defectos | Tiempo medio transcurrido desde la identificación del defecto (L1–L4) hasta la corrección verificada | ≤ 4 horas (P1/P2); ≤ 2 Business Days (P3) |
| Puntuación de integridad de datos | Porcentaje de aserciones de integridad (5.7.2) que pasan en cada ciclo de prueba | 100% |
| Tasa de aprobación de UAT en el primer intento | Porcentaje de releases que obtienen la conformidad del Cliente en UAT sin necesidad de nueva presentación | ≥ 85% |
| Insights de optimización por ciclo | Número de recomendaciones accionables de optimización de procesos generadas por cada gran ciclo de pruebas | ≥ 3 |
5.10.3 Mejora continua
El framework SQT está sujeto a mejora continua de acuerdo con el ciclo de Deming (Plan-Do-Check-Act):
- (a) Planificar: La estrategia de pruebas y las configuraciones de los agentes de IA se revisan y actualizan al inicio de cada trimestre en función de las tendencias de las métricas de calidad y de los comentarios del Cliente.
- (b) Hacer: Las suites de prueba actualizadas y las configuraciones de los agentes se despliegan en el entorno Staging del Cliente.
- (c) Comprobar: Las métricas de calidad (5.10.2) se evalúan frente a los objetivos; se realiza un análisis de causa raíz en cualquier incumplimiento.
- (d) Actuar: Las acciones correctivas y preventivas se registran en el CSI register (4.10) y se ejecutan en los ciclos de sprint posteriores.
5.11 Seguridad y cumplimiento
5.11.1 Protección de los datos de prueba
Todos los datos de prueba utilizados en el proceso SQT están sujetos a las obligaciones de protección de datos de este Framework (Capítulo [Protección de datos — referencia futura de capítulo]). En particular:
- Los datos de producción deberán anonimizarse o pseudonimizarse antes de utilizarse en entornos no productivos, de conformidad con el GDPR Art. 89(1) y el UAE PDPL Art. 5.
- Los agentes de IA no almacenan datos del Cliente más allá de la sesión de prueba. Todos los datos procesados por AI Testing Agents son efímeros y se purgan al finalizar la sesión.
- Los tokens de API se limitan al mínimo de permisos necesarios, tienen vigencia temporal y se revocan automáticamente al final de la sesión.
- Los registros de evidencias de prueba se cifran en reposo (AES-256) y en tránsito (TLS 1.3).
5.11.2 Gobernanza de agentes
El uso de agentes de IA por parte del Proveedor en el framework SQT se rige por:
- EU AI Act Compliance: Los agentes de IA utilizados para pruebas de software se clasifican como de riesgo mínimo conforme al EU AI Act (Regulation (EU) 2024/1689), ya que operan sobre datos no productivos en un entorno controlado y no toman decisiones autónomas que afecten a personas físicas.
- NIST AI RMF: La metodología de pruebas con IA del Proveedor se ajusta a los principios de validez, fiabilidad y rendición de cuentas del NIST AI Risk Management Framework (AI RMF 1.0).
- Human Oversight: Los agentes de IA operan bajo supervisión humana. Todos los resultados de las pruebas, las recomendaciones de optimización y las decisiones de despliegue requieren revisión y aprobación humana antes de actuar.
- Transparency: El Proveedor deberá, a solicitud del Cliente, proporcionar documentación de las configuraciones de los agentes de IA, la lógica de decisión y los registros de interacción de cualquier ciclo de prueba.
EU AI Act — Regulation (EU) 2024/1689 NIST AI Risk Management Framework 1.0
5.12 Registro de procesos
5.12.1 Registro de procesos
| Ref | Proceso | Disparador | Responsable | Aprobador | Resultado Esperado | Cruz. Ref. |
|---|---|---|---|---|---|---|
| P-5.01 | Configuración de agentes de IA | Alta de un nuevo Cliente o activación de un módulo | Responsable de QA del Proveedor | SDM | Agente de IA específico del Cliente configurado, probado y versionado | §2.4, §5.3.2 |
| P-5.02 | Simulación de flujo de datos de extremo a extremo | Nueva compilación lista para pruebas L2/L3 | AI Testing Agent | Responsable de QA del Proveedor | Todos los escenarios de simulación superan las pruebas; evidencias registradas en el repositorio de pruebas | §5.5, §4.7 |
| P-5.03 | Simulación de interacción de usuario | Nueva compilación lista para pruebas L3 | AI Testing Agent | Responsable de QA del Proveedor | Todos los scripts de interacción basados en perfiles superan las pruebas; los defectos se clasifican | §5.6, §4.3 |
| P-5.04 | Validación de integridad de datos | Finalización de la ejecución de pruebas L2/L3 | AI Testing Agent | Responsable de QA del Proveedor | El 100% de las aserciones de integridad supera las pruebas; se genera el Data-Integrity Report | §5.7 |
| P-5.05 | Ejecución de la suite de regresión | Cambio de código fusionado en la rama del Cliente | AI Testing Agent | Responsable de QA del Proveedor | La suite completa de regresión supera las pruebas; no se detectan regresiones | §5.4.1 L4, §4.7.2 |
| P-5.06 | Preparación y entrega de UAT | Pruebas L1–L4 completadas con cero P1/P2 | Responsable de QA del Proveedor | SDM | Entorno Staging actualizado; casos de prueba y datos preparados; Cliente notificado | §5.8.1, §2.5.1 |
| P-5.07 | Resolución de defectos de UAT | El Cliente registra un defecto durante UAT | Equipo de desarrollo del Proveedor | Responsable de QA del Proveedor | Defecto resuelto según el SLA de severidad; corrección verificada y presentada de nuevo | §5.8.4, §4.3 |
| P-5.08 | Conformidad de UAT | El Cliente completa UAT | Líder de UAT del Cliente | Representante autorizado del Cliente | Se recibe la conformidad por escrito; se autoriza el despliegue a Producción | §5.8.3, §4.7.3 |
| P-5.09 | Análisis de optimización de procesos | Finalización de un gran ciclo de pruebas | AI Testing Agent | SDM | Se genera el Process Optimisation Report con recomendaciones clasificadas | §5.9, §3.9 |
| P-5.10 | Revisión de la gobernanza de pruebas | Periodicidad trimestral | Responsable de QA del Proveedor | SC | Métricas de calidad revisadas; estrategia de pruebas actualizada; acciones CSI registradas | §5.10, §4.10 |
5.12.2 Matriz RACI
R = Responsible | A = Accountable | C = Consulted | I = Informed
| Proceso | QA del Proveedor | Agente de IA | Equipo de desarrollo | Cliente | SDM |
|---|---|---|---|---|---|
| P-5.01 Configuración de agentes de IA | R | — | C | I | A |
| P-5.02 Simulación de flujo de datos | A | R | C | I | I |
| P-5.03 Simulación de interacción de usuario | A | R | C | I | I |
| P-5.04 Validación de integridad de datos | A | R | I | I | I |
| P-5.05 Ejecución de la suite de regresión | A | R | C | I | I |
| P-5.06 Preparación y entrega de UAT | R | C | C | I | A |
| P-5.07 Resolución de defectos de UAT | A | C | R | I | I |
| P-5.08 Conformidad de UAT | I | — | I | R/A | I |
| P-5.09 Optimización de procesos | C | R | C | I | A |
| P-5.10 Revisión de la gobernanza de pruebas | R | I | C | C | A |
5.12.3 Flujo del proceso — ciclo de vida de la calidad de software y las pruebas
| Etapa | Actividad | Rol | Resultado |
|---|---|---|---|
| ① Configurar | Provisión del agente de IA por cliente con configuración de módulos, reglas de negocio, esquema de datos, taxonomía de roles y mapa de integración | Responsable de QA del Proveedor | Configuración versionada del agente de IA en Git |
| ② Simular | Ejecución de simulaciones de flujo de datos de extremo a extremo e interacción de usuario mediante la capa segura de integración API contra Dev/Sandbox | AI Testing Agent | Registros de ejecución de pruebas + resultados de las aserciones |
| ③ Validar | Ejecución de aserciones de integridad de datos (referenciales, computacionales, temporales) sobre todo el esquema | AI Testing Agent | Data-Integrity Report |
| ④ Regresar | Ejecución de la suite completa de regresión contra la configuración del Cliente para confirmar cero regresiones | AI Testing Agent | Informe de aprobado/reprobado de regresión |
| ⑤ Optimizar | Análisis de los datos de prueba para generar insights y recomendaciones de optimización de procesos | AI Testing Agent | Process Optimisation Report |
| ⑥ Preparar | Actualizar Staging, preparar casos de prueba, cargar datos para UAT, notificar al Cliente | Responsable de QA del Proveedor + SDM | Paquete de evidencias de UAT + notificación al Cliente |
| ⑦ Aceptar | El Cliente ejecuta UAT frente a los criterios de aceptación; registra defectos, si los hubiera | Líder de UAT del Cliente | Resultados de pruebas de UAT + tickets de defectos |
| ⑧ Autorizar | El Cliente proporciona la conformidad escrita de UAT; el Proveedor promueve la compilación a Producción | Representante autorizado del Cliente + Proveedor | Documento de UAT firmado + despliegue en Producción |
