Aseguramiento de calidad, variantes y alternativas

El aseguramiento de calidad se asocia normalmente con auditorías a procesos y productos pero existen otras técnicas y medios para cubrir la función. Cada caso y situación tiene sus pros y contras, el resultado debe ofrecer los mejores beneficios.

El modelo CMMI establece entre sus prácticas básicas el Aseguramiento de la calidad del proceso y productos (PPQA).para proporcionar al personal y a la gerencia una visión objetiva del cumplimiento de los mismos que soporte la entrega de productos con mayor calidad. Es la manera planificada y sistemática en que la gerencia se asegura que los estándares, prácticas, procedimientos y métodos definidos en los procesos son utilizados. Proporciona visibilidad y retroalimentación durante todo el proyecto.

Dudas sobre las auditorías en CMMI

Una auditoría, según el glosario de CMMI, es una revisión objetiva de un producto o conjunto de productos de trabajo contra criterios establecidos. En ocasiones se confunde la existencia de auditorías como parte de las prácticas de CM con la forma de realizar el aseguramiento de calidad en PPQA.

Un lector hace algún tiempo envió este comentario: 

"Tengo cierta confusión con las auditorías de PPQA y de CM. Si en PPQA defino auditorías para cada Área de Proceso, incluyendo CM, ¿deberé definir otras de CM también? ¿Cuál sería la diferencia? He pensado que tal vez las auditorías de CM se refieren a líneas base, y en este sentido están bien diferenciadas de la de PPQA. Entonces, si antes de hacer una línea base realizamos una auditoría de CM, ¿cubriríamos SG3 de CM? Por último, las revisiones se refieren a producto y a proceso. ¿Se consideran como producto los entregables resultantes de realizar los procesos de calidad definidos?"

Control vs aseguramiento de calidad

Aseguramiento y control de calidad tienen tiempos diferentes y muchas veces se confunden en el ciclo de vida de un proyecto. Cuando se asocian con las prácticas de CMMI en las áreas de proceso PPQA, VER y VAL la confusión puede ser mayor.

La intención de PPQA en CMMI es separar la función de aseguramiento de calidad relacionada con las pruebas y enfocarse en el proceso. De ninguna forma se relaciona con las prácticas de VAL y VER. Si acaso para comprobar que se cumple el proceso y que los productos del proceso están considerando de manera correcta lo que se tiene establecido.

Iniciar el cambio, dudas en CMMI

Al iniciar una tarea nueva o desconocida, una de las dudas normalmente es cómo abordarla o por dónde empezar. En el caso de un proyecto de mejora, integrando como ingrediente CMMI, sucede algo muy similar.

En varias ocasiones ha llegado una pregunta relacionada con esta situación, aquí exponemos dos situaciones que intentamos responder en esta ocasión.

Estoy en una empresa donde debo realizar una mejora en el área de QA. ya que los resultados no son buenos, y es porque tampoco existe una metodología definida de trabajo. ¿Por dónde me recomendarías empezar, necesito quizás hacer pequeños cambios, empezar por algo básico?

Quiero implementar CMMI en la empresa, ¿qué es lo que necesito para dar el primer paso, me pueden recomendar un libro, tendrán una guía, CMMI es el mejor modelo, qué nivel es el óptimo para una PYME?

Planificación y estrategia de pruebas

Krishnavedala

La planificación y ejecución de las pruebas puede considerar la ejecución de pruebas con base en casos de pruebas y en otras circunstancias con base en la intuición. En general se utiliza una mezcla de ambos enfoques en dependencia de las necesidades, conocimiento del producto y experiencia para la ejecución de las pruebas.


En el modelo CMMI la SG1 tanto en VER como en VAL considera la definición de la estrategia para las actividades de verificación y validación.

Clasificación general de las pruebas

DevEd

Las pruebas de software es una actividad fundamental en el ciclo de desarrollo. En el modelo CMMI esta actividad se relaciona con las prácticas en las áreas de proceso de VER y VAL. El entendimiento y uso correcto de éstas técnicas tiene un fuerte impacto en el producto y en la calidad que se entrega al cliente, lo que se traduce en beneficios directos para la Organización.

CMMI y TMMi

CMMI  es un modelo de procesos, desarrollado por el SEI, reconocido en la industria como referente para la mejora de procesos. TMMi (Test Maturity Model Integration) es un modelo para la mejora de procesos de pruebas desarrollado por TMMi Foundation, que se considera como complemento para CMMI. 


Ambos modelos son independientes y tienen mecanismos de evaluación diferentes, pero la implementación de CMMI se puede enriquecer con las prácticas de TMMi ya que es un modelo mucho más amplio para cubrir las actividades relacionadas con la calidad del producto. TMMi hace referencia a áreas de proceso de CMMI que complementan las áreas de proceso internas descritas.

El nivel de madurez para el Cliente

Recientemente se presentó el webinar “Why I don’t care that you had a CMMI level 5 rating!” por Todd Schrubb a través de CAI University. En el mismo se abordó el tema del uso del resultado de una evaluación por un cliente que contrata una organización con un determinado nivel de madurez y las interpretaciones y usos adecuados que debe realizarse del proceso de evaluación SCAMPI. 
En principio se establece que una evaluación es derivada del análisis y resultados de proyectos pasados y que no representa un indicador del desempeño futuro, aunque la infraestructura de procesos creada permite mantener resultados similares posteriormente. El modelo CMMI se creó para establecer resultados exitosos y repetibles en la organización orientados a los proyectos a futuro, a partir de las experiencias y rendimiento actual. Pero no debe tomarse el nivel de madurez, o capacidad, obtenido como una certeza, sino considerar lo que se está haciendo actualmente para mejorar esos resultados. 

Principios para gestión de la calidad

Los principios de gestión de calidad se definen como parte del estándar para el establecimiento del sistema de gestión de la calidad con base en la norma ISO 9001:2000 y revisados en la  ISO 9001:2008. Estos principios permiten a la organización mejorar su rendimiento y se obtuvieron a partir del conocimiento y experiencia de expertos en la industria que forman parte del Comité Técnico 176, responsable de las normas ISO 9000. 

Calidad, niveles de madurez y niveles de capacidad

Recibí una pregunta a través de un comentario en un artículo y trataré de darle respuesta por aquí. Básicamente la duda tiene que ver con la calidad y los niveles de madurez y capacidad. La pregunta es: "Una empresa que obtenga un determinado nivel de madurez puede asegurar al cliente que su software es de mejor calidad (porque sus procesos son de mejor calidad) que la que obtuvo un nivel más bajo. Por ejemplo la que obtuvo 3 es mejor, en cuanto a calidad de sus productos, que una que obtuvo el 2. ¿Lo mismo pasa con los niveles de capacidad?".

Hay que establecer en principio qué es la calidad. En general se entiende o asume la calidad como el conjunto de propiedades o características que satisfacen las necesidades, implícitas o explícitas, que se esperan de un producto servicio desde el punto de vista del cliente. Considerando esto, la calidad puede variar desde el punto de vista del cliente para el mismo producto o servicio pero podemos tener elementos para minimizar esa variación a través de los procesos.

Resumen de Verificación en CMMI DEV v1.3

El área de proceso de Verification (VER) corresponde al nivel 3 en la representación por etapas y está ubicada dentro de la categoría de proceso de Ingeniería para la representación continua. Tiene como propósito asegurar que los productos de trabajo seleccionados cumplen sus requerimientos especificados.

Resumen de Aseguramiento de la calidad del proceso y producto en CMMI v1.3

El área de proceso de Process and Product Quality Assurance (PPQA) corresponde al nivel 2 en la representación por etapas y está ubicada dentro de la categoría de proceso de Soporte para la representación continua. Tiene como propósito proporcionar al personal y a la gerencia una visión objetiva de los procesos y de los productos de trabajo asociados.

ROI en Inspecciones

David F. Rico en un artículo publicado en Noviembre del 2002 en la revista Software Tech News “How to Estimate ROI for Inspections, PSP, TSP, SW CMM, ISO 9000 and CMMI” ofrece, entre otros, un ejemplo muy concreto para obtener el retorno de inversión (ROI) en la aplicación de las inspecciones. 


En términos generales el ROI es el cálculo de los beneficios en términos económicos que se esperan obtener como resultado de la inversión de recursos y activos en una organización. Se utilizan dos ecuaciones que obtienen la tasa de Beneficios vs. Costos (B/C R), dividiendo los beneficios entre los costos y el %ROI que es la tasa de sustraer los Costos a los Beneficios antes de dividirlo entre los Costos. 


Costo de capacitación e implementación 
Se considera para el ejemplo un costo de capacitación de $410.00 por persona durante tres días y suponiendo un costo por persona de $100.00 por hora implicarías $2.400.00 adicional al costo del curso, sería $2,810.00 por persona. Considerando que sean cuatro personas las que toman el curso el total de capacitación serían $11,240.00. 


Se considera que los recursos capacitados participan en un proyecto de 10,000 SLOC y que consideran en cada revisión 240 SLOC para 41,67 reuniones. Se suponen 17 horas por revisión, considerando la planificación, preparación, ejecución y seguimiento, se requieren 708.33 horas. Considerando el costo por persona de $100,000.00, el costo de revisión es de $70,833.00. 


El costo total, considerando el costo de capacitación y de implementación es de $82,073.00.  


Beneficios obtenidos 
Para el proyecto de 10,000 SLOC se estima, después de las inspecciones, un esfuerzo para mantenimiento de 11,806 horas. Mientras que para un proyecto similar sin inspecciones el esfuerzo se estima en 41,800 horas, lo que implica un ahorro de 29,994 horas para el caso de las inspecciones. Traducidas a los $100.00 por hora se convierten en ahorros por $2,999,400.00.  


Considerando la ecuación de B/C R ($2,999,400.00 / $82,073.00) se obtiene una tasa aproximada de 37:1 mientras que el %ROI ($2,999,400.00 - $82,073.00 / $82,073.00) *100 se obtiene 3,555%. 


El ejemplo puede ser muy claro para demostrar los beneficios que se obtiene. Se pueden hacer los cálculos con números de cada organización o jugar con otros valores, hay otros ejemplos que utilizan el ahorro que se obtiene por la corrección temprana de defectos. Estas son bases para obtener los números y poder demostrar la ventaja de aplicar estas técnicas de inmediato en la organización.

Realidades de los Peer reviews

Las inspecciones y revisiones están consideradas como una de las mejores prácticas en la industria para identificar de manera efectiva y eficiente defectos en los productos. Adicionalmente, permiten compartir el conocimiento dentro del equipo, mostrar supuestos, compartir expectativas y establecer un entendimiento común sobre los productos de trabajo. Todo lo cual se traduce en reducción de los costos de mantenimiento y mejora e incremento de la calidad del producto. La inversión que se haga en este sentido, cuando se hace adecuadamente, mostrará los resultados de manera inmediata. 

Elementos a considerar en los Peer reviews

Peer reviews o revisiones entre colegas es una técnica de revisión estructurada, que puede utilizar diferentes enfoques, donde participan los “colegas” del autor de los productos de trabajo para identificar defectos y cambios que se requieren. 
Son una parte fundamental de las verificaciones, una meta específica en el área de proceso VER “obliga” a ejecutar peer reviews además de otras técnicas que se puedan considerar, por constituir un mecanismo efectivo en la eliminación de defectos. Permite desarrollar un mayor entendimiento del proceso y de los productos de trabajo que puede ayudar a prevenir los defectos e identificar mejoras al proceso.

Enfoques para Peer reviews

Existen diferentes métodos y técnicas para realizar un Peer review, o revisión entre colegas, que cubren diferentes niveles de formalidad, rigor, efectividad y costo. 

Mitos y realidades sobre Aseguramiento de calidad

Aseguramiento de calidad, según el modelo CMMI, es un medio planificado y sistemático de garantizar a la gerencia que los estándares, prácticas, procedimientos y métodos definidos para el proceso son aplicados. Es una herramienta fundamental para el logro de la institucionalización de los procesos y es base para el seguimiento de la implantación de los procesos como parte del proyecto de mejora. 

Diferentes niveles de pruebas

Una situación recurrente que se presenta, sobre todo en empresas con pocas o nulas prácticas de ejecución de pruebas, es que se realizan "diferentes" niveles de pruebas pero en todos los casos se repiten los mismos escenarios de pruebas.

No se hace un adecuado plan de pruebas para diferenciar entre los tipos y niveles de pruebas, de manera que sea efectivo en la detección e identificación de los defectos que corresponde a cada uno. Es importante diferenciar entre las pruebas estáticas y dinámicas, caja blanca y caja negra. Distinguir entre el objetivo de las pruebas unitarias, sistema o funcionales, pruebas integrales y de aceptación.

En las pruebas unitarias se hacen pruebas a nivel bajo a diferencia de las otras pruebas que deben revisar cuestiones a otro nivel. Es importante garantizar el resultado de las pruebas unitarias, no sólo es pasar la compilación sin errores, para no tener problemas de bajo nivel en otras pruebas.

Las prácticas en las áreas de proceso de VER y VAL ayudan a mejorar esos resultados.

Asignación de roles y funciones

La asignación de roles es un tema que siempre es un problema, sobre todo para organizaciones pequeñas. Uno de los roles que causa más conflicto es el de QA (Quality Assurance) porque normalmente no existe esa función o proceso en la organización y no es claro de donde sacarlo. 

Resumen de Verificación

El área de proceso de Verification (VER) corresponde al nivel 3 en la representación por etapas y está ubicada dentro de la categoría de proceso de Ingeniería para la representación continua. Tiene como propósito asegurar que los productos de trabajo seleccionados cumplen sus requerimientos especificados. 
Las prácticas de VER permiten identificar defectos en etapas tempranas de la creación del producto y reducir los altos costos asociados a la identificación y corrección de defectos que se pueden presentar más adelante. En conjunto con VAL permite dar certeza al cliente o usuario que el producto cumple sus necesidades y que por otra parte puede ser utilizado. En su estructura de prácticas es muy similar a VAL pero con un enfoque diferente. 
Verificación
Las técnicas de VER son muy similares a las utilizadas por PPQA y se debe evitar duplicar esfuerzos al ejecutar esas actividades que tienen propósitos diferentes pero ocurren sobre los mismos productos de trabajo. Mientras que la primera encuentra defectos asociados al incumplimiento de los requerimientos, en la segunda se encuentran hallazgos o desviaciones al proceso que se debe utilizar. Lo ideal es que con una actividad se puedan cubrir ambos enfoques, muchas veces integrando el punto de vista de aseguramiento de calidad como parte de las actividades de verificación. 
En particular VER hace énfasis, en la meta específica 2, en el uso de la técnica de Peer Reviews o Revisiones entre pares. Esto obliga al uso de esta técnica adicionalmente a otras que pueden ser aplicables para cumplir la meta específica 3. Al definir la estrategia de verificación, como parte de las prácticas de la meta específica 1, se deben identificar los productos de trabajo a revisar y las técnicas de verificación que se utilizarán, ya sean Peer Reviews u otro tipo de revisiones, inspecciones, demostraciones y pruebas. 
Establecer la estrategia de verificación 
SG1 La preparación para la verificación es llevada a cabo.

• SP1.1 Seleccionar los productos de trabajo a verificar y los métodos de verificación que serán usados para cada uno.
• SP1.2 Establecer y mantener el entorno necesario para dar soporte a la verificación.
• SP1.3 Establecer y mantener los procedimientos y los criterios de verificación para los productos de trabajo seleccionados.

Ejecutar las revisiones entre pares

SG2 Las revisiones entre pares son realizadas sobre los productos de trabajo seleccionados

• SP2.1 Preparar las revisiones entre pares de los productos de trabajo seleccionados.
• SP2.2 Llevar a cabo las revisiones entre pares sobre los productos de trabajo seleccionados, e identificar los problemas resultantes de la revisión entre pares.
• SP2.3 Analizar los datos sobre la preparación, la realización y los resultados de las revisiones entre pares.

Ejecutar la verificaciones 
SG3 Los productos de trabajo seleccionados son verificados frente a sus requerimientos especificados.

• SP3.1 Realizar la verificación sobre los productos de trabajo seleccionados.
• SP2.2 Analizar los resultados de las actividades de verificación.