Control vs aseguramiento de calidad

Aseguramiento y control de calidad tienen tiempos diferentes y muchas veces se confunden en el ciclo de vida de un proyecto. Cuando se asocian con las prácticas de CMMI en las áreas de proceso PPQA, VER y VAL la confusión puede ser mayor.

La intención de PPQA en CMMI es separar la función de aseguramiento de calidad relacionada con las pruebas y enfocarse en el proceso. De ninguna forma se relaciona con las prácticas de VAL y VER. Si acaso para comprobar que se cumple el proceso y que los productos del proceso están considerando de manera correcta lo que se tiene establecido.

Planificación y estrategia de pruebas

Krishnavedala

La planificación y ejecución de las pruebas puede considerar la ejecución de pruebas con base en casos de pruebas y en otras circunstancias con base en la intuición. En general se utiliza una mezcla de ambos enfoques en dependencia de las necesidades, conocimiento del producto y experiencia para la ejecución de las pruebas.


En el modelo CMMI la SG1 tanto en VER como en VAL considera la definición de la estrategia para las actividades de verificación y validación.

Clasificación general de las pruebas

DevEd

Las pruebas de software es una actividad fundamental en el ciclo de desarrollo. En el modelo CMMI esta actividad se relaciona con las prácticas en las áreas de proceso de VER y VAL. El entendimiento y uso correcto de éstas técnicas tiene un fuerte impacto en el producto y en la calidad que se entrega al cliente, lo que se traduce en beneficios directos para la Organización.

Guías generales para documentar requisitos

La adecuada definición de requisitos es fundamental para un buen resultado en los productos que se desarrollan o los servicios que se ofrecen. El 60% de los defectos presentes en un producto están asociados con una mala definición de los requisitos. Por ello es importante trabajar para obtener una adecuada definición que soporte la creación de un producto o servicio correcto y bien.

Características deseables de un requisito

Dentro de las prácticas de REQM en la SP1.1 se tiene que establecer cuáles son los requisitos que serán acordados. Para lograr esto además de que se tenga una fuente autorizada para definir los requisitos, éstos deben ser adecuadamente definidos. Cuando se implementa en conjunto con RD, en la SP 3.3, se puede revisar el cumplimiento de esas características como elemento para comprobar que los requisitos son necesarios y suficientes. 


Para facilitar la actividad se puede elaborar una lista de verificación con las características que se deben cumplir y considerarlas en la realización de la revisión de los requisitos. Los requisitos que no cumplan con estas condiciones deben ser redefinidos y ajustados antes de ser comprometidos para evitar problemas en el desarrollo del producto.

CMMI y TMMi

CMMI  es un modelo de procesos, desarrollado por el SEI, reconocido en la industria como referente para la mejora de procesos. TMMi (Test Maturity Model Integration) es un modelo para la mejora de procesos de pruebas desarrollado por TMMi Foundation, que se considera como complemento para CMMI. 


Ambos modelos son independientes y tienen mecanismos de evaluación diferentes, pero la implementación de CMMI se puede enriquecer con las prácticas de TMMi ya que es un modelo mucho más amplio para cubrir las actividades relacionadas con la calidad del producto. TMMi hace referencia a áreas de proceso de CMMI que complementan las áreas de proceso internas descritas.

Resumen de Verificación en CMMI DEV v1.3

El área de proceso de Verification (VER) corresponde al nivel 3 en la representación por etapas y está ubicada dentro de la categoría de proceso de Ingeniería para la representación continua. Tiene como propósito asegurar que los productos de trabajo seleccionados cumplen sus requerimientos especificados.

Realidades de los Peer reviews

Las inspecciones y revisiones están consideradas como una de las mejores prácticas en la industria para identificar de manera efectiva y eficiente defectos en los productos. Adicionalmente, permiten compartir el conocimiento dentro del equipo, mostrar supuestos, compartir expectativas y establecer un entendimiento común sobre los productos de trabajo. Todo lo cual se traduce en reducción de los costos de mantenimiento y mejora e incremento de la calidad del producto. La inversión que se haga en este sentido, cuando se hace adecuadamente, mostrará los resultados de manera inmediata. 

Elementos a considerar en los Peer reviews

Peer reviews o revisiones entre colegas es una técnica de revisión estructurada, que puede utilizar diferentes enfoques, donde participan los “colegas” del autor de los productos de trabajo para identificar defectos y cambios que se requieren. 
Son una parte fundamental de las verificaciones, una meta específica en el área de proceso VER “obliga” a ejecutar peer reviews además de otras técnicas que se puedan considerar, por constituir un mecanismo efectivo en la eliminación de defectos. Permite desarrollar un mayor entendimiento del proceso y de los productos de trabajo que puede ayudar a prevenir los defectos e identificar mejoras al proceso.

Enfoques para Peer reviews

Existen diferentes métodos y técnicas para realizar un Peer review, o revisión entre colegas, que cubren diferentes niveles de formalidad, rigor, efectividad y costo. 

Mitos y realidades sobre Aseguramiento de calidad

Aseguramiento de calidad, según el modelo CMMI, es un medio planificado y sistemático de garantizar a la gerencia que los estándares, prácticas, procedimientos y métodos definidos para el proceso son aplicados. Es una herramienta fundamental para el logro de la institucionalización de los procesos y es base para el seguimiento de la implantación de los procesos como parte del proyecto de mejora. 

Diferentes niveles de pruebas

Una situación recurrente que se presenta, sobre todo en empresas con pocas o nulas prácticas de ejecución de pruebas, es que se realizan "diferentes" niveles de pruebas pero en todos los casos se repiten los mismos escenarios de pruebas.

No se hace un adecuado plan de pruebas para diferenciar entre los tipos y niveles de pruebas, de manera que sea efectivo en la detección e identificación de los defectos que corresponde a cada uno. Es importante diferenciar entre las pruebas estáticas y dinámicas, caja blanca y caja negra. Distinguir entre el objetivo de las pruebas unitarias, sistema o funcionales, pruebas integrales y de aceptación.

En las pruebas unitarias se hacen pruebas a nivel bajo a diferencia de las otras pruebas que deben revisar cuestiones a otro nivel. Es importante garantizar el resultado de las pruebas unitarias, no sólo es pasar la compilación sin errores, para no tener problemas de bajo nivel en otras pruebas.

Las prácticas en las áreas de proceso de VER y VAL ayudan a mejorar esos resultados.

Resumen de Verificación

El área de proceso de Verification (VER) corresponde al nivel 3 en la representación por etapas y está ubicada dentro de la categoría de proceso de Ingeniería para la representación continua. Tiene como propósito asegurar que los productos de trabajo seleccionados cumplen sus requerimientos especificados. 
Las prácticas de VER permiten identificar defectos en etapas tempranas de la creación del producto y reducir los altos costos asociados a la identificación y corrección de defectos que se pueden presentar más adelante. En conjunto con VAL permite dar certeza al cliente o usuario que el producto cumple sus necesidades y que por otra parte puede ser utilizado. En su estructura de prácticas es muy similar a VAL pero con un enfoque diferente. 
Verificación
Las técnicas de VER son muy similares a las utilizadas por PPQA y se debe evitar duplicar esfuerzos al ejecutar esas actividades que tienen propósitos diferentes pero ocurren sobre los mismos productos de trabajo. Mientras que la primera encuentra defectos asociados al incumplimiento de los requerimientos, en la segunda se encuentran hallazgos o desviaciones al proceso que se debe utilizar. Lo ideal es que con una actividad se puedan cubrir ambos enfoques, muchas veces integrando el punto de vista de aseguramiento de calidad como parte de las actividades de verificación. 
En particular VER hace énfasis, en la meta específica 2, en el uso de la técnica de Peer Reviews o Revisiones entre pares. Esto obliga al uso de esta técnica adicionalmente a otras que pueden ser aplicables para cumplir la meta específica 3. Al definir la estrategia de verificación, como parte de las prácticas de la meta específica 1, se deben identificar los productos de trabajo a revisar y las técnicas de verificación que se utilizarán, ya sean Peer Reviews u otro tipo de revisiones, inspecciones, demostraciones y pruebas. 
Establecer la estrategia de verificación 
SG1 La preparación para la verificación es llevada a cabo.

• SP1.1 Seleccionar los productos de trabajo a verificar y los métodos de verificación que serán usados para cada uno.
• SP1.2 Establecer y mantener el entorno necesario para dar soporte a la verificación.
• SP1.3 Establecer y mantener los procedimientos y los criterios de verificación para los productos de trabajo seleccionados.

Ejecutar las revisiones entre pares

SG2 Las revisiones entre pares son realizadas sobre los productos de trabajo seleccionados

• SP2.1 Preparar las revisiones entre pares de los productos de trabajo seleccionados.
• SP2.2 Llevar a cabo las revisiones entre pares sobre los productos de trabajo seleccionados, e identificar los problemas resultantes de la revisión entre pares.
• SP2.3 Analizar los datos sobre la preparación, la realización y los resultados de las revisiones entre pares.

Ejecutar la verificaciones 
SG3 Los productos de trabajo seleccionados son verificados frente a sus requerimientos especificados.

• SP3.1 Realizar la verificación sobre los productos de trabajo seleccionados.
• SP2.2 Analizar los resultados de las actividades de verificación.

Resumen de Validación

El área de proceso de Validation (VAL) corresponde al nivel 3 en la representación por etapas y está ubicada dentro de la categoría de proceso de Ingeniería para la representación continua. Tiene como propósito demostrar que un producto o componente de producto se ajusta a su uso previsto cuando se sitúa en su entorno previsto. Las prácticas definidas en el área de proceso de VAL, en conjunto con VER, tienen elementos muy similares pero desde diferentes perspectivas. En su aplicación pueden coincidir utilizando las mismas técnicas, pero cuidando que se demuestren ambos enfoques. Mientras que en VER se busca demostrar que los productos de trabajo cumplen con los requerimientos que los definen en VAL se demuestra que el producto generado puede ser utilizado. Una diferencia entre VER y VAL está en que el primero puede ser aplicado a productos internos, no necesariamente dirigidos al cliente, mientras que el segundo está orientado a los productos que serán entregados y utilizados por el cliente o usuarios finales. Una pequeña diferencia que se aprecia al leer detenidamente el propósito y entender la diferencia entre productos de trabajo y componentes del producto, en el glosario del modelo. Lo cual no quiere decir que se aplique hasta el final del desarrollo, sino que por principio son prácticas que se aplican en todas las fases del desarrollo del producto utilizando las diferentes perspectivas que se van obteniendo del producto final. Otro elemento diferente en el momento de aplicar las validaciones es el entorno de operación. Las prácticas de validación deben aplicarse en un ambiente similar, o lo más cercano posible, al ambiente real de operación del producto, que permita ubicar al usuario en el contexto de uso y determinar cualquier problema que se pueda presentar. La creación de este ambiente de validación es un elemento fundamental en la preparación, sobre todo por la cuestión de presupuesto y tiempos para su preparación. La identificación, investigación, exploración y definición adecuada de los requerimientos en RD puede reducir las diferencias de perspectivas entre VER y VAL. Al final cuando los requerimientos implícitos, muchas veces relacionados con el uso y operación, son establecidos de manera explícita la diferencia entre VER y VAL son reducidas considerablemente.

La aplicación de VER y VAL se da en conjunto con otras áreas de proceso de ingeniería como RD y TS, pero son fundamentales para cumplir la meta específica 3 de PI que tiene que ver con la integración de los componentes y liberación del producto.

VAL requiere por una meta establecer la estrategia de validación y por la otra ejecutar las validaciones definidas en la estrategia y analizar los resultados. Estrategia de validación SG1 La preparación para la validación es llevada a cabo.

• SP1.1 Seleccionar los productos y los componentes de producto a validar y los métodos de validación que serán usados para cada uno.
• SP1.2 Establecer y mantener el entorno necesario para dar soporte a la validación.
• SP1.3 Establecer y mantener los procedimientos y los criterios de validación

Ejecutar las validaciones

SG2 El producto o los componentes de producto son validados para asegurar que sean adecuados para usar en su entorno operacional previsto.

• SP2.1 Realizar la validación sobre los productos y los componentes de producto seleccionados.
• SP2.2 Analizar los resultados de las actividades de validación.

Auditorías en el modelo CMMI

Una auditoría, según el glosario de CMMI, es una revisión objetiva de un producto o conjunto de productos de trabajo contra criterios establecidos. El uso del criterio le da objetividad a la actividad y es vital para el éxito de la revisión. Una auditoría proporciona el conocimiento de que lo que debiera ser controlado, según el criterio definido, lo está y puede ser ofrecido en su momento. 

En el modelo existe una práctica específica (SP 3.2) en el área de proceso de Gestión de la Configuración (Configuration Management) que establece la necesidad de ejecutar auditorías a la configuración para mantener la integridad de las líneas base de la configuración. Esta actividad confirma que las líneas base obtenidas y la documentación que las acompañada cumplen con los estándares o requisitos especificados, además de que es exacta y completa. El resultado debe ser adecuadamente documentado y controlado para garantizar el cierre o solución de las observaciones realizadas. 

Verificación y validación

Las área de proceso de Verification (VER) y Validation (VAL) son muy similares pero con enfoques diferentes. Mientras que VER revisa que los productos y productos de trabajo del proceso cumplen con los requerimientos mientras que VAL revisa que los productos y componentes del producto que recibe el usuario pueden ser usados por este último. En Requirements Development (RD, SP3.3) el análisis de los requerimientos se realiza utilizando técnicas de verificación mientras que RD, SP3.5 obliga a la validación de los requerimientos para garantizar que el producto puede ser utilizado. Por otra parte Process and Product Quality Assurance (PPQA) puede verse como una especie de verificación y debe cuidarse que no se traslapen. PPQA debe revisar que se cumpla el proceso y sus prácticas permiten identificar inconsistencias en el proceso, mientras que VER identifica defectos en los productos y productos de trabajo. En el caso de VER se requiere realizar peer reviews(SG2) independiente de otros tipos de verificaciones que se puedan considerar. PPQA, SP1.2 que indica la evaluación objetiva de productos de trabajo se puede cubrir en cierta forma con peer reviews si en este caso se considera como elemento de revisión el cumplimiento del proceso. Son funciones que se pueden hacer en conjunto pero cuidando ambos enfoques. M. en C. Carlos J. Pérez Escobar SEI Authorized CMMI Instructor