Control vs aseguramiento de calidad

Aseguramiento y control de calidad tienen tiempos diferentes y muchas veces se confunden en el ciclo de vida de un proyecto. Cuando se asocian con las prácticas de CMMI en las áreas de proceso PPQA, VER y VAL la confusión puede ser mayor.

La intención de PPQA en CMMI es separar la función de aseguramiento de calidad relacionada con las pruebas y enfocarse en el proceso. De ninguna forma se relaciona con las prácticas de VAL y VER. Si acaso para comprobar que se cumple el proceso y que los productos del proceso están considerando de manera correcta lo que se tiene establecido.

Planificación y estrategia de pruebas

Krishnavedala

La planificación y ejecución de las pruebas puede considerar la ejecución de pruebas con base en casos de pruebas y en otras circunstancias con base en la intuición. En general se utiliza una mezcla de ambos enfoques en dependencia de las necesidades, conocimiento del producto y experiencia para la ejecución de las pruebas.


En el modelo CMMI la SG1 tanto en VER como en VAL considera la definición de la estrategia para las actividades de verificación y validación.

Clasificación general de las pruebas

DevEd

Las pruebas de software es una actividad fundamental en el ciclo de desarrollo. En el modelo CMMI esta actividad se relaciona con las prácticas en las áreas de proceso de VER y VAL. El entendimiento y uso correcto de éstas técnicas tiene un fuerte impacto en el producto y en la calidad que se entrega al cliente, lo que se traduce en beneficios directos para la Organización.

CMMI y TMMi

CMMI  es un modelo de procesos, desarrollado por el SEI, reconocido en la industria como referente para la mejora de procesos. TMMi (Test Maturity Model Integration) es un modelo para la mejora de procesos de pruebas desarrollado por TMMi Foundation, que se considera como complemento para CMMI. 


Ambos modelos son independientes y tienen mecanismos de evaluación diferentes, pero la implementación de CMMI se puede enriquecer con las prácticas de TMMi ya que es un modelo mucho más amplio para cubrir las actividades relacionadas con la calidad del producto. TMMi hace referencia a áreas de proceso de CMMI que complementan las áreas de proceso internas descritas.

Resumen de Validación en CMMI DEV v1.3

El área de proceso de Validation (VAL) corresponde al nivel 3 en la representación por etapas y está ubicada dentro de la categoría de proceso de Ingeniería para la representación continua. Tiene como propósito demostrar que un producto o componente de producto se ajusta a su uso previsto cuando se sitúa en su entorno previsto.


Las prácticas definidas en el área de proceso de VAL, en conjunto con VER, tienen elementos muy similares pero desde diferentes perspectivas. En su aplicación pueden coincidir utilizando las mismas técnicas, pero cuidando que se demuestren ambos enfoques. Mientras que en VER se busca demostrar que los productos de trabajo cumplen con los requerimientos que los definen en VAL se demuestra que el producto generado puede ser utilizado.


Una diferencia entre VER y VAL está en que el primero puede ser aplicado a productos internos, no necesariamente dirigidos al cliente, mientras que el segundo está orientado a los productos que serán entregados y utilizados por el cliente o usuarios finales. Una pequeña diferencia que se aprecia al leer detenidamente el propósito y entender la diferencia entre productos de trabajo y componentes del producto, en el glosario del modelo. Lo cual no quiere decir que se aplique hasta el final del desarrollo, sino que por principio son prácticas que se aplican en todas las fases del desarrollo del producto utilizando las diferentes perspectivas que se van obteniendo del producto final.


Otro elemento diferente en el momento de aplicar las validaciones es el entorno de operación. Las prácticas de validación deben aplicarse en un ambiente similar, o lo más cercano posible, al ambiente real de operación del producto, que permita ubicar al usuario en el contexto de uso y determinar cualquier problema que se pueda presentar. La creación de este ambiente de validación es un elemento fundamental en la preparación, sobre todo por la cuestión de presupuesto y tiempos para su preparación.


La identificación, investigación, exploración y definición adecuada de los requerimientos en RD puede reducir las diferencias de perspectivas entre VER y VAL. Al final cuando los requerimientos implícitos, muchas veces relacionados con el uso y operación, son establecidos de manera explícita la diferencia entre VER y VAL son reducidas considerablemente.

La aplicación de VER y VAL se da en conjunto con otras áreas de proceso de ingeniería como RD y TS, pero son fundamentales para cumplir la meta específica 3 de PI que tiene que ver con la integración de los componentes y liberación del producto.

VAL requiere por una meta establecer la estrategia de validación y por la otra ejecutar las validaciones definidas en la estrategia y analizar los resultados.


En la versión 1.3 del modelo no existen cambios significativos en cuanto a las metas y prácticas específicas para esta área de proceso.


Estrategia de validación
SG1 La preparación para la validación es llevada a cabo.

• SP1.1 Seleccionar los productos y los componentes de producto a validar y los métodos de validación que serán usados.
• SP1.2 Establecer y mantener el entorno necesario para dar soporte a la validación.
• SP1.3 Establecer y mantener procedimientos y criterios de validación

Ejecutar las validaciones

SG2 El producto o los componentes de producto son validados para asegurar que sean adecuados para usar en su entorno operacional previsto.

• SP2.1 Realizar la validación sobre productos y componentes de producto seleccionados.
• SP2.2 Analizar resultados de las actividades de validación.

Diferentes niveles de pruebas

Una situación recurrente que se presenta, sobre todo en empresas con pocas o nulas prácticas de ejecución de pruebas, es que se realizan "diferentes" niveles de pruebas pero en todos los casos se repiten los mismos escenarios de pruebas.

No se hace un adecuado plan de pruebas para diferenciar entre los tipos y niveles de pruebas, de manera que sea efectivo en la detección e identificación de los defectos que corresponde a cada uno. Es importante diferenciar entre las pruebas estáticas y dinámicas, caja blanca y caja negra. Distinguir entre el objetivo de las pruebas unitarias, sistema o funcionales, pruebas integrales y de aceptación.

En las pruebas unitarias se hacen pruebas a nivel bajo a diferencia de las otras pruebas que deben revisar cuestiones a otro nivel. Es importante garantizar el resultado de las pruebas unitarias, no sólo es pasar la compilación sin errores, para no tener problemas de bajo nivel en otras pruebas.

Las prácticas en las áreas de proceso de VER y VAL ayudan a mejorar esos resultados.

Resumen de Verificación

El área de proceso de Verification (VER) corresponde al nivel 3 en la representación por etapas y está ubicada dentro de la categoría de proceso de Ingeniería para la representación continua. Tiene como propósito asegurar que los productos de trabajo seleccionados cumplen sus requerimientos especificados. 
Las prácticas de VER permiten identificar defectos en etapas tempranas de la creación del producto y reducir los altos costos asociados a la identificación y corrección de defectos que se pueden presentar más adelante. En conjunto con VAL permite dar certeza al cliente o usuario que el producto cumple sus necesidades y que por otra parte puede ser utilizado. En su estructura de prácticas es muy similar a VAL pero con un enfoque diferente. 
Verificación
Las técnicas de VER son muy similares a las utilizadas por PPQA y se debe evitar duplicar esfuerzos al ejecutar esas actividades que tienen propósitos diferentes pero ocurren sobre los mismos productos de trabajo. Mientras que la primera encuentra defectos asociados al incumplimiento de los requerimientos, en la segunda se encuentran hallazgos o desviaciones al proceso que se debe utilizar. Lo ideal es que con una actividad se puedan cubrir ambos enfoques, muchas veces integrando el punto de vista de aseguramiento de calidad como parte de las actividades de verificación. 
En particular VER hace énfasis, en la meta específica 2, en el uso de la técnica de Peer Reviews o Revisiones entre pares. Esto obliga al uso de esta técnica adicionalmente a otras que pueden ser aplicables para cumplir la meta específica 3. Al definir la estrategia de verificación, como parte de las prácticas de la meta específica 1, se deben identificar los productos de trabajo a revisar y las técnicas de verificación que se utilizarán, ya sean Peer Reviews u otro tipo de revisiones, inspecciones, demostraciones y pruebas. 
Establecer la estrategia de verificación 
SG1 La preparación para la verificación es llevada a cabo.

• SP1.1 Seleccionar los productos de trabajo a verificar y los métodos de verificación que serán usados para cada uno.
• SP1.2 Establecer y mantener el entorno necesario para dar soporte a la verificación.
• SP1.3 Establecer y mantener los procedimientos y los criterios de verificación para los productos de trabajo seleccionados.

Ejecutar las revisiones entre pares

SG2 Las revisiones entre pares son realizadas sobre los productos de trabajo seleccionados

• SP2.1 Preparar las revisiones entre pares de los productos de trabajo seleccionados.
• SP2.2 Llevar a cabo las revisiones entre pares sobre los productos de trabajo seleccionados, e identificar los problemas resultantes de la revisión entre pares.
• SP2.3 Analizar los datos sobre la preparación, la realización y los resultados de las revisiones entre pares.

Ejecutar la verificaciones 
SG3 Los productos de trabajo seleccionados son verificados frente a sus requerimientos especificados.

• SP3.1 Realizar la verificación sobre los productos de trabajo seleccionados.
• SP2.2 Analizar los resultados de las actividades de verificación.

Resumen de Validación

El área de proceso de Validation (VAL) corresponde al nivel 3 en la representación por etapas y está ubicada dentro de la categoría de proceso de Ingeniería para la representación continua. Tiene como propósito demostrar que un producto o componente de producto se ajusta a su uso previsto cuando se sitúa en su entorno previsto. Las prácticas definidas en el área de proceso de VAL, en conjunto con VER, tienen elementos muy similares pero desde diferentes perspectivas. En su aplicación pueden coincidir utilizando las mismas técnicas, pero cuidando que se demuestren ambos enfoques. Mientras que en VER se busca demostrar que los productos de trabajo cumplen con los requerimientos que los definen en VAL se demuestra que el producto generado puede ser utilizado. Una diferencia entre VER y VAL está en que el primero puede ser aplicado a productos internos, no necesariamente dirigidos al cliente, mientras que el segundo está orientado a los productos que serán entregados y utilizados por el cliente o usuarios finales. Una pequeña diferencia que se aprecia al leer detenidamente el propósito y entender la diferencia entre productos de trabajo y componentes del producto, en el glosario del modelo. Lo cual no quiere decir que se aplique hasta el final del desarrollo, sino que por principio son prácticas que se aplican en todas las fases del desarrollo del producto utilizando las diferentes perspectivas que se van obteniendo del producto final. Otro elemento diferente en el momento de aplicar las validaciones es el entorno de operación. Las prácticas de validación deben aplicarse en un ambiente similar, o lo más cercano posible, al ambiente real de operación del producto, que permita ubicar al usuario en el contexto de uso y determinar cualquier problema que se pueda presentar. La creación de este ambiente de validación es un elemento fundamental en la preparación, sobre todo por la cuestión de presupuesto y tiempos para su preparación. La identificación, investigación, exploración y definición adecuada de los requerimientos en RD puede reducir las diferencias de perspectivas entre VER y VAL. Al final cuando los requerimientos implícitos, muchas veces relacionados con el uso y operación, son establecidos de manera explícita la diferencia entre VER y VAL son reducidas considerablemente.

La aplicación de VER y VAL se da en conjunto con otras áreas de proceso de ingeniería como RD y TS, pero son fundamentales para cumplir la meta específica 3 de PI que tiene que ver con la integración de los componentes y liberación del producto.

VAL requiere por una meta establecer la estrategia de validación y por la otra ejecutar las validaciones definidas en la estrategia y analizar los resultados. Estrategia de validación SG1 La preparación para la validación es llevada a cabo.

• SP1.1 Seleccionar los productos y los componentes de producto a validar y los métodos de validación que serán usados para cada uno.
• SP1.2 Establecer y mantener el entorno necesario para dar soporte a la validación.
• SP1.3 Establecer y mantener los procedimientos y los criterios de validación

Ejecutar las validaciones

SG2 El producto o los componentes de producto son validados para asegurar que sean adecuados para usar en su entorno operacional previsto.

• SP2.1 Realizar la validación sobre los productos y los componentes de producto seleccionados.
• SP2.2 Analizar los resultados de las actividades de validación.

Verificación y validación

Las área de proceso de Verification (VER) y Validation (VAL) son muy similares pero con enfoques diferentes. Mientras que VER revisa que los productos y productos de trabajo del proceso cumplen con los requerimientos mientras que VAL revisa que los productos y componentes del producto que recibe el usuario pueden ser usados por este último. En Requirements Development (RD, SP3.3) el análisis de los requerimientos se realiza utilizando técnicas de verificación mientras que RD, SP3.5 obliga a la validación de los requerimientos para garantizar que el producto puede ser utilizado. Por otra parte Process and Product Quality Assurance (PPQA) puede verse como una especie de verificación y debe cuidarse que no se traslapen. PPQA debe revisar que se cumpla el proceso y sus prácticas permiten identificar inconsistencias en el proceso, mientras que VER identifica defectos en los productos y productos de trabajo. En el caso de VER se requiere realizar peer reviews(SG2) independiente de otros tipos de verificaciones que se puedan considerar. PPQA, SP1.2 que indica la evaluación objetiva de productos de trabajo se puede cubrir en cierta forma con peer reviews si en este caso se considera como elemento de revisión el cumplimiento del proceso. Son funciones que se pueden hacer en conjunto pero cuidando ambos enfoques. M. en C. Carlos J. Pérez Escobar SEI Authorized CMMI Instructor