Auditorías a la gestión de la configuración

Las auditorías a la gestión de la configuración permiten confirmar que los registros de gestión de configuración y elementos de configuración son completos, consistentes y precisos. Son realizadas durante el ciclo de vida para demostrar que los planes, procesos y sistemas se están utilizando y son adecuados así como identificar oportunidades de mejora. En las auditorías se revisa que:
  • ¿Las políticas y estándares del proceso son adecuadas para cumplir los objetivos de la organización?
  • ¿Los planes y procedimientos de gestión de configuración son adecuados para cumplir con las políticas y estándares definidos?
  • ¿El personal responsable de las actividades tiene acceso a los planes y procedimientos y están actualizados?
  • ¿El personal ha recibido la formación requerida para realizar sus actividades?
  • ¿El personal que realiza las actividades de gestión de la configuración cumple con las políticas, estándares y procedimientos definidos?
  • ¿El ambiente e infraestructura para realizar las actividades de gestión de de configuración es adecuado?
  • ¿Los componentes de configuración están adecuadamente controlados, versionados e integrados en las líneas base correspondientes?
  • ¿Los hallazgos identificados en auditorías previas están siendo atendidos?
Las auditorías garantizan un mecanismo independiente para comprobar el cumplimiento de procesos y estándares aplicables en particular a la gestión de la configuración, además de verificar que el producto está listo para liberarse de acuerdo con los requisitos que lo definen. Este tipo de auditoría pueden ser integradas como parte de las revisiones a procesos y productos del área de procesos Process and Product Quality Assurance (PPQA). Referencia. Westfall, Linda. Software Configuration Management audits. www.westfallteam.com

Auditorías físicas a la configuración (PCA)

Son auditorías que permiten verificar que los elementos de configuración integrados cumplen con la especificación técnica que los define. Esto implica que todos los componentes requeridos están presentes, que corresponden con la versión correcta y con la información contenida en los reportes de estado de la línea base. Es una evaluación independiente para demostrar que el código es adecuadamente descrito en la documentación que se entrega y que tanto el código como la documentación están listos para la entrega. De igual forma contribuye a evaluar el cumplimiento de acuerdos legales y requisitos establecidos para el producto. Típicamente se realiza en conjunción con la auditoría funcional (FCA) o una vez que los hallazgos de la FCA han sido resueltos. En esencia la PCA revisa la información de los reportes de estado a la configuración para asegurar que los productos y la documentación asociada son adecuadamente integradas en la línea base antes de liberar el producto. Lista de elementos a verificar Puede considerar como base para la verificación:
  • ¿Los hallazgos de FCA han sido resueltos adecuadamente?
  • ¿Todos los componentes de configuración identificados están integrados en la línea base?
  • ¿Todos los componentes de configuración cumplen con los estándares que los definen?
  • ¿El producto ha sido integrado a partir de los componentes de configuración correctos de acuerdo con la especificación que los define?
  • ¿La documentación que se entrega está completa?
  • ¿El medio en el que se entrega el producto cumple con los requisitos especificados? ¿Está adecuadamente identificado y etiquetado el producto?
  • ¿Los entregables cubren con la lista de entregables requeridos?
  • ¿Se cumplen los requisitos para la licencia del producto por terceros?
  • ¿Se cubren los requisitos de exportación del producto?
Al igual que en FCA, la revisión se hace sobre muestreo de los productos y documentación considerando los elementos más críticos o problemáticos en el pasado. Referencia. Westfall, Linda. Software Configuration Management audits. www.westfallteam.com

Auditorías funcionales a la configuración (FCA)

Son auditorías que permiten verificar que las funcionalidades que han sido probadas de un componente de configuración han cubierto los requisitos especificados en la línea base de documentación funcional y que la documentación para el apoyo y operación es completa y satisfactoria. Es una evaluación independiente que permite determinar que un producto y su documentación cumplen con los requisitos de funcionalidad, desempeño y calidad. 
Típicamente se realiza antes de las pruebas finales o de la liberación del producto. Básicamente permite demostrar que, con base en los resultados de las verificaciones y validaciones, el producto esta listo para ser entregado. 


Lista de elementos a verificar 
Puede considerar como base los siguientes cuestionamientos:
  • ¿El código cumple con todos los requisitos documentados?
  • ¿Puede ser rastreado el requisito hasta las pruebas que demuestran que está implantado?
  • ¿Las pruebas han sido completas para cubrir la funcionalidad, interfaces y atributos de calidad requeridos?
  • ¿Todas las fallas identificadas han sido resueltas, o en su caso adecuadamente identificado como renuncias o desviaciones?
  • ¿La documentación es consistente con los requisitos y el producto final?
  • ¿Los hallazgos de las revisiones entre colegas han sido adecuadamente considerados?
  • ¿Las acciones correctivas identificadas en las auditorías han sido atendidas?
Básicamente la revisión se hace sobre muestreo de los productos y documentación considerando los elementos más críticos o problemáticos en el pasado. Por lo general esta auditoría antecede a la auditoría física a la configuración (PCA) Referencia. Westfall, Linda. Software Configuration Management audits. www.westfallteam.com

Auditorías en el modelo CMMI

Una auditoría, según el glosario de CMMI, es una revisión objetiva de un producto o conjunto de productos de trabajo contra criterios establecidos. El uso del criterio le da objetividad a la actividad y es vital para el éxito de la revisión. Una auditoría proporciona el conocimiento de que lo que debiera ser controlado, según el criterio definido, lo está y puede ser ofrecido en su momento. 

En el modelo existe una práctica específica (SP 3.2) en el área de proceso de Gestión de la Configuración (Configuration Management) que establece la necesidad de ejecutar auditorías a la configuración para mantener la integridad de las líneas base de la configuración. Esta actividad confirma que las líneas base obtenidas y la documentación que las acompañada cumplen con los estándares o requisitos especificados, además de que es exacta y completa. El resultado debe ser adecuadamente documentado y controlado para garantizar el cierre o solución de las observaciones realizadas. 


Actualización del reporte CMMI 2010

El profile del mes de marzo del 2010 ya está disponible para consulta en la página del Software Engineering Institute (SEI). Este documento presenta estadísticas recolectadas y publicadas por el SEI con los resultados que las organizaciones evaluadas con un SCAMPI A proporcionan al SEI. Se publica en el mes de marzo y septiembre de cada año y está disponible para consulta en la página sas.sei.cmu.edu/pars A enero del 2010 se reportaron 5,499 evaluaciones en 4,468 organizaciones. De éstas, el 74.3% de las evaluaciones realizadas es fuera de EE.UU. aún cuando el modelo es desarrollado en este país, valor que tiende a incrementar cada año. Del total de evaluaciones el 55.9% corresponde a organizaciones que reportan de 1 a 100 recursos, lo que refleja que el modelo es útil y completamente aplicable para las PYMES (este valor se incrementó un 4.7% respecto al año anterior). La tendencia en las empresas pequeñas se va hacia los niveles bajos de madurez, mientras que las grandes empresas tienen mayor tendencia hacia niveles altos de madurez. Se podría pensar que una razón de esto se da por el crecimiento que tiene la organización entre la primera evaluación y la última.

Actualmente el modelo está siendo utilizado a nivel mundial y reportan evaluaciones 69 países, con la adición de Guatemala y Túnez. Los países que mayores incrementos tienen en el número de evaluaciones son: China, Brasil, México, España, Argentina, Francia y Malasia. Con relación al 2008 el total de evaluaciones se incrementó un 35%. Existe un incremento por re-evaluaciones originado en parte por el periodo de vencimiento de tres años que considera el SEI para publicar los resultados en su sitio de internet, en el cual existen actualmente 4,607 evaluaciones. En cuanto a tendencias se mantiene el incremento en las organizaciones evaluadas a nivel 3 mientras que disminuyó el crecimiento hacia el nivel 5, propiciado principalmente por el incremento de los controles y mayor rigor en las evaluaciones a niveles altos de madurez. En las primeras evaluaciones las organizaciones tienden a reportar niveles 2 y 3, mientras que en las segundas o posteriores evaluaciones la tendencia se va hacia los niveles 3 y 5. Existe una gráfica mostrando los tiempos que toma a una organización ir de un nivel de madurez a otro, este tiempo se ha mantenido estable aunque tiende a aumentar y se ha incrementado el tiempo en promedio para alcanzar niveles altos de madurez. Según la estadística en promedio para pasar: Del nivel 1 al 2 son 4.5 meses (variación en .5 meses) Del nivel 2 al 3 son 19 meses (variación en 1 mes) Del nivel 3 al 4 son 24 meses (variación en 5 meses) Del nivel 3 al 5 son 19 meses (anteriormente consideraba el paso del nivel 4 al 5) Otro dato que llama la atención es que de enero del 2009 a enero del 2010 se reportaron 28 nuevos SCAMPI A en México, con lo que suman 86 evaluaciones hasta la fecha con CMMI (para SW CMM se hicieron en total 34 CBA IPI) y baja dos lugares ubicando la posición once en el total de evaluaciones por países, por encima de Alemania y Canadá. Las evaluaciones reportadas son: 36 a nivel 2 (Incrementó en 12) 39 a nivel 3 (Incrementó en 14) 3 a nivel 4 6 a nivel 5 (Incrementó en 2)

España incrementó en 75 las evaluaciones realizadas en el periodo y se ubica en la posición 5 del total de evaluaciones por países, bajando 4 lugares en la escala por encima de Francia, Corea, Taiwán y Brasil (Los datos para estas gráficas fueron tomados de los profiles de marzo del 2009 y marzo del 2010 publicados por el SEI)

Evaluaciones SCAMPI A realizadas en México

El método de evaluación para el modelo CMMI es el SCAMPI (Standar CMMI Appraisal Method for Process Improvement). Solamente un SCAMPI clase A, existe adicionalmente el B y C, puede determinar el nivel de madurez de la organización o nivel de capacidad de las áreas de proceso. Con el fin de tener una referencia sobre el comportamiento de las evaluaciones en el país se hizo una revisión de los resultados publicados y compartimos algunos datos en este artículo. Las organizaciones evaluadas pueden decidir hacer públicos los resultados de un SCAMPI A reportado al SEI. El periodo de validez de esa publicación es de tres años y posteriormente el SEI elimina esa información. La dirección donde se puede consultar esos resultados es http://sas.sei.cmu.edu/pars. La referencia definitiva debe ser consultada directamente en el SEI y los datos presentados no pretenden en ningún momento servir como consulta para las organizaciones, solamente es una comparativa de la situación analizada. De acuerdo a los resultados estadísticos que emite semestralmente el SEI, México ha realizado del 2002 a la fecha 68 evaluaciones SCAMPI A. Actualmente aparecen públicos 56 de esos resultados. De los resultados presentados el 91% utilizan la representación Staged del modelo y el resto la representación Continuous. Por año tiende a incrementar el número de evaluaciones realizadas y los niveles de interés para la representación Staged.

Actualización sobre los cambios para la versión 1.3 de CMMI

El Software Engineering Institute (SEI) presentó recientemente información actualizado sobre sus planes y modificaciones para la versión 1.3 del modelo CMMI. Los cambios se basan en los criterios que se han presentado en artículos anteriores sobre el mismo tema en julio y septiembre del 2009.
En términos generales las revisiones de los cambios a los modelos deben quedar listas en noviembre del 2010 y en conjunto con los materiales de evaluación deben estar listos para su publicación en el mes de diciembre. 

CMMI v2, cinco puntos para entender la nueva versión del modelo

El mes de marzo del 2018 fue el lanzamiento de la versión 2.0 del modelo CMMI (Capability Maturity Model for Integration) por el CMMI Ins...