6021-24007-1-PB

Metodologia para configurao de instrumentos para auxiliariniciativas de melhoria do processo de teste de softwaremultimodelos baseadas no MPT.Br e TMMiMethodology for setting instruments to support initiatives for multimodels software testingprocess improvement based on MPT.Br and TMMi

Olavo Nylander Brito Neto1

Lilian Santos Ferreira2

Emerson Rios3

Sandro Ronaldo Bezerra Oliveira4

Resumo

Com o intuito de auxiliar implementaes multimodelos do processo de teste de software,

este trabalho apresenta uma abordagem utilizada para a criao de material de suporte na

implementao multimodelos baseado nos padres MPT.Br e TMMi, alinhando com os

nveis de maturidade presente nos modelos, e destacando a metodologia e materiais gerados

durante este processo. Estes insumos tendem a facilitar o conhecimento das prticas de teste

presentes no Brasil e a adaptao de organizaes internacionais que pretendem conhecer

a cultura de teste do Brasil.

Palavras-chave: MPT.Br. TMMi. Implementao multimodelos. Processo de teste.Qualidade.

Recebido: 07 de outubro de 2013 / Aceito: 07 de novembro de 20131Mestrando em Cincia da ComputaoPrograma de Ps-graduao em Cincia da Computao da UniversidadeFederal do Par (UFPA), [email protected] Brasil.

2Bacharel em Cincia da Computao pela Faculdade de ComputaoUniversidade Federal do Par (UFPA),[email protected] Brasil.

3Membro do Comit Gestor do MPT.BrSOFTEX-RECIFE, [email protected] Brasil.4Professor, Faculdade de Computao e Programa de Ps-Graduao em Cincia da ComputaoUniversidade Fe-deral do Par (UFPA), [email protected] Brasil.

Metodologia para configurao de instrumentos para auxiliar iniciativas de melhoria do processo de teste desoftware multimodelos baseadas no MPT.Br e TMMi

Abstract

To assist multi-models implementations of software testing process, this paper presents the

approach used for the creation of support materials to aid multi-models implementation

based on MPT.Br and TMMi standards, aligned to maturity levels of MPT.Br, highlighting

the methodology, inputs managed during this process and results as supporting material.

These inputs tend to facilitate knowledge of testing practices present in Brazil and also the

adaptation of international organizations that claim to know the test culture of Brazil.

Keywords: MPT.Br. TMMi. Implementation multi-models. Test process. Softwarequality.

Abaks, Belo Horizonte, v. 2, n. 1, p. 0331, nov. 2013 - ISSN: 23169451 4


1 INTRODUO

O processo de software caracterizado como uma metodologia para as atividades, aese tarefas necessrias para desenvolver um software de qualidade (PRESSMAN, 2011). Modelarprocessos e atividades que satisfaam as necessidades das organizaes apresenta-se como umdesafio para empresas que precisam destacar-se no mercado altamente competitivo. Modelos demelhorias e normas para processo de software, profissionais qualificados, entre outros fatoressurgem como atrativos para suprir tais carncias. O investimento em padres de qualidade ganhaum certo destaque com o incentivo do governo no uso de modelos voltados para qualidade desoftware (MINISTRIO DA CINCIA, TECNOLOGIA E INOVAO, 2012).

A adoo das boas prticas presentes nestes modelos contribui de forma significativapara as empresas que trabalham com produtos de software ou correlacionados, no que se refere qualidade desses produtos, seja na forma de construo, na evoluo destes e nas demaisatividades relacionadas com os mesmos. Com isso, alguns modelos de qualidade surgiram econsequentemente padres definidos por organizaes normatizadoras, a fim de contribuir deforma significativa no desenvolvimento de produtos complexos.

Devido presena de alguns modelos de qualidade internacionais no desenvolvimentode produtos de software, como CMMI - Capability Maturity Model Integration (SOFTWAREENGINEERING INSTITUTE, 2010), TMMi Test Maturity Model integration (TMMI FOUN-DATION, 2012) entre outros, e a necessidade de modelos voltados para a realidade das empresasbrasileiras, foi criado em 2003 o MPS.BR Programa de Melhoria de Processo do SoftwareBrasileiro (SOFTEX, 2012), para o atendimento das empresas de pequeno e mdio porte, de-senvolvedoras de software e produtos correlacionados, e em 2010, o MPT.Br - Modelo de Me-lhoria do Processo de Teste Brasileiro (SOFTEX RECIFE, 2011), direcionado para a melhoriado processo de teste de software.

O MPT.Br foi desenvolvido pela SOFTEX RECIFE em conjunto com a RIOSOFT e oapoio do SEBRAE, concebido para apoiar as organizaes de software e relacionadas, atravsdos elementos ligados disciplina de teste inseridos no desenvolvimento de software (SOFTEXRECIFE, 2011). O modelo baseado nas melhores prticas do teste de software presentes nomercado e em algumas normas e modelos como TMMi, ISO/IEC 29119 (INTERNATIONALORGANIZATION FOR STANDARDIZATION/INTERNATIONAL ELECTROTECHNICALCOMISSION, 2010), entre outros, promovendo a integrao das atividades da engenharia desoftware. Com o seu uso, seus propsitos so: reduzir falhas observadas apenas nas fases finaisdo desenvolvimento de um determinado produto; otimizar e melhorar de forma contnua osprocessos de teste de software, aumentando a qualidade dos produtos de software; e fornecervisibilidade da organizao com maturidade (SOFTEX RECIFE, 2011).

Outro modelo que possui um destaque na fase de teste em nvel internacional o TMMi,que foi desenvolvido pela TMMi Foundation, como um guia e framework de referncia. Ele



possui o propsito de apoiar organizaes em avaliaes e melhoria do processo de teste ecomo um modelo complementar ao CMMI verso 1.2 (verso esta em sua criao, seguindo asverses seguintes como complemento), abordando questes importantes para gerentes de teste,engenheiros de teste e profissionais de qualidade de software, e aplicado de forma ampla, paraabranger toda a qualidade do produto de software e atividades afins (TMMI FOUNDATION,2012).

Com o surgimento de diversos modelos voltados para um mesmo propsito ou partesvoltadas para uma mesma rea de cobertura, fica a critrio das organizaes optar pelo quemelhor adequa-se s suas necessidades, mantendo aderncia aos modelos de qualidade com ouso de prticas presentes nos mesmos, ajustando-se, assim, da melhor forma possvel para aorganizao adotante.

Com isso, surgiu a iniciativa de implementaes aderentes a mais de um modelo, tam-bm conhecidas como multimodelos, auxiliando organizaes flexveis para alcanar e obteruma vantagem competitiva no mercado (MARINO; MORLEY, 2008) e introduzir organizaesestrangeiras no mercado de teste brasileiro. Entretanto, pouco tem-se explorado na literaturaa respeito da implementao multimodelos para processo de teste de software. As prticas deteste, apesar de emergirem na literatura por volta de 1970 e 1980, s obtiveram maior visibili-dade na dcada de 1990 quando deixaram de ser tratadas como atividades isoladas e passarama estar presentes em padres (WELLS, 2008). Assim, este trabalho busca explorar a unificaodestas duas reas pouco exploradas na literatura em conjunto, e com grande impacto na rea dequalidade de software: implementao multimodelos e testes de software.

Apresentar insumos que forneam auxlio em implementaes multimodelos no pro-cesso de teste de software um dos objetivos deste trabalho, baseado nos padres MPT.Br eTMMi. Com a necessidade de se adequar a modelos existentes de forma a estar alinhado sestratgias das organizaes aderentes a estas prticas, pretende-se contribuir com o modelobrasileiro de teste (MPT.Br) a fim de difundir a aderncia a mais de um modelo de qualidadeda rea em questo. Contudo, sabe-se que aderir a mais de um modelo um desafio para or-ganizaes que pretendem melhorar seu processo de desenvolvimento de software. Assim, estetrabalho visa facilitar essa adoo a organizaes interessadas neste tipo de implementao.

A fragmentao do processo de software em nveis, proporciona mais clareza aos obje-tivos a serem conquistados em cada etapa e o aumento de preciso ao tentar aferir estas etapas(SOMMERVILLE, 2011). Fato este tambm utilizado para facilitar a comparao de padresde acordo com equivalncia a nveis estruturais. Mutafelija e Stromberg (2009) diz que as so-breposies em modelos de referncias so inevitveis, porque foram desenvolvidas de formaindependente, em diferentes momentos e tiveram diferentes grupos patrocinadores. Mesmo queessas sobreposies possam causar problemas durante a implementao, elas apresentam siner-gia. Contudo, buscou-se em desafios contidos na fase de teste e na evoluo com modelos demelhoria, correlacionar o modelo brasileiro (MPT.Br) junto ao internacional (TMMi), a fim deapresentar suas similaridades e diferenas na implementao multimodelos.



Para isso foi criado um artefato que auxiliar a aderncia dos processos aos multimode-los, fundamentados na estrutura de ambos os padres citados anteriormente (MPT.Br e TMMi),fornecendo assim um material de referncia que contemple as divergncias e similaridades emnveis estruturais, presentes nas prticas que compem os modelos. Para este trabalho serapresentado o mapeamento em todos os nveis presentes nos modelos supracitados.

Alm desta seo introdutria, o trabalho est organizado da seguinte forma: na Seo2 so apresentados trabalhos relacionados presentes na literatura especializada que tratam deabordagens similares; na Seo 3 apresentada a metodologia de pesquisa descrevendo comofoi realizado o fluxo de trabalho; na Seo 4 as etapas utilizadas para realizar o mapeamentodos modelos abordados so descritas; e na Seo 5 descrita a concluso obtida e os trabalhosfuturos.

2 TRABALHOS RELACIONADOS

Durante o desenvolvimento da pesquisa foi realizada uma reviso na literatura especia-lizada, na qual no foram identificados trabalhos relacionados a implementaes multimodelospara o processo de teste de software. Entretanto, foi possvel encontrar trabalhos com propostassimilares, seguindo outras linhas presentes no processo de desenvolvimento de software. Nofoi seguido o formalismo de uma reviso sistemtica devido ausncia de trabalhos multimo-delos voltados para modelos de qualidade em teste de software, otimizando assim o tempo deproduo da pesquisa.

2.1 Metodologia

Entre os trabalhos previamente pesquisados, optou-se por abordar o trabalho de Mello(2011), que apresenta uma reviso sistemtica de literatura em multimodelos de processo desoftware, devido similaridade de seus objetivos. E adaptar as questes utilizadas por Mello(2011) buscando responder s seguintes questes: Quais abordagens, tcnicas e processostm sido propostos e/ou utilizados para mapeamento, integrao e harmonizao dos modelosMPT.Br e TMMi?; Quais critrios tm sido propostos e/ou adotados para mapeamento, in-tegrao e harmonizao dos modelos MPT.Br e TMMi?; e Quais so as caractersticas dasiniciativas de melhoria de processos de testes de software multimodelos em organizaes?.Com isso, faz-se necessrio ajustar a consulta utilizada pelo autor supracitado de acordo comas peculiaridades do problema em questo, como pode ser visto a seguir (este modelo temcomo base a mquina de busca Scopus): ((software process OR software processes ORprocess evolution OR process improvement OR melhoria de processo OR evolucao



de processo) AND ((ISO AND CMMI) OR (ISO AND MPS) OR (MPS AND

CMMI)) AND ((multimodels OR multi-models OR multimodel OR multi-model

OR multiple technologies) OR (HARMONIZING OR INTEGRATED OR COMPA-

RING OR MAPPING OR APPLYING))) AND (LIMIT-TO(SUBJAREA, COMP) OR

LIMIT- TO(SUBJAREA, ENGI) OR LIMIT-TO(SUBJAREA, MULT)).

importante ressaltar que os termos utilizados como multimodel, integrated processevolution presentes nas strings de busca foram adotados devido presena destes em trabalhosrelacionados da academia, como de Ferreira et al. (2006), Rout e Tuffley (2007), Mutafelija eStromberg (2009), entre outros. Posteriormente, as strings foram ajustadas s caractersticas dasmquinas de busca utilizadas. Primeiramente, optou-se pela mquina de busca Scopus, do qualfoi necessria a execuo de quatro rodadas a fim de filtrar os trabalhos relacionados. Optou-se,tambm, em adotar as lnguas ingls (para o TMMi) e portugus (para o MPT.Br), devido aorigem dos modelos utilizados.

Na primeira rodada objetivou-se tratar primeiramente das siglas dos modelos em questoMPT e TMMi, buscando por trabalhos individuais dos modelos e em conjunto, resultando 7897trabalhos diferentes, com a consulta: ((MPT AND TMMI) OR TMMI OR MPT).

Na segunda rodada com o intuito de refinar os trabalhos selecionados com a rea de in-teresse, foram adicionadas palavras-chave relacionadas a implementaes multimodelos, redu-zindo o nmero anterior para 749 trabalhos, com a seguinte consulta: ((MPT AND TMMI)OR TMMI OR MPT) AND ((multimodels OR multi-models OR multimodel OR

multi-model OR multiple technologies) OR (HARMONIZING OR INTEGRATING

OR COMPARING OR MAPPING OR APPLYING)).

Na terceira rodada optou-se pela continuidade do refinamento atravs da incluso depalavras-chave ligadas disciplina de teste ou ao processo de teste. Com isso foi possvelchegar a 103 trabalhos relacionados, com a seguinte consulta: (test process OR processimprovement OR verification process OR V&V OR V&VT OR processo de teste

OR melhoria de processo OR melhoria de teste OR processo de verificao)) AND

((MPT AND TMMI) OR TMMI OR MPT) OR ((multimodels OR multi-models

OR multimodel OR multi-model OR multiple technologies) OR (HARMONIZING

OR INTEGRATING OR COMPARING OR MAPPING OR APPLYING)).

Na quarta rodada foram includas as restries por sub-reas (computer science, engine-ering), dos quais podem ser encontrados trabalhos de interesse da pesquisa, no sendo necess-rio adicionar filtro de restrio de idade devido ao ano de publicao estar dentro de uma faixaaceitvel (2009 a 2013). Foi utilizada a consulta: (test process OR process improvementOR verification process OR V&V OR V&VT OR processo de teste OR melhoria

de processo OR melhoria de teste OR processo de verificacao) AND ((MPT AND

TMMI) OR TMMI OR MPT) AND ((multimodels OR multi-models OR multimo-

del OR multi-model OR multiple technologies) OR (HARMONIZING OR INTEGRA-



TING OR COMPARING OR MAPPING OR APPLYING)). Esta consulta resultou naspublicaes listadas no Quadro 1.

Quadro 1 Lista de trabalhos relacionados filtrados pela mquina de busca ScopusID Ttulo Autor(es) Ano

1A conceptual framework for open source Abdou, T., Grogono, P., 2012

software test process Kamthan, P.2 Software test capability improvement method Lee, J., Hwang, S. 2012

3Hybriding CMMI and Requirement Engineering Buglione, L., Hauck, J.C.R., Von 2012

Maturity & Capability Models: Applying the Wangenheim, C.G., McCaffery, F.LEGO approach for improving estimates

4Design of a competence model for testing Saldaa-Ramos, J., Sanz-Esteban, A., 2012

teams Garca-Guzmn, J., Amescua, A.

5IdeaTracker: An interactive visualization Hauck, J.C.R., Von Wangenheim, 2011

supporting collaboration and consensus building C.G., Mc Caffery, F., Buglione, L.in online interface design discussions

6Proposing an ISO/IEC 15504-2 compliant Hauck, J.C.R., Von Wangenheim, 2011

method for process capability/maturity models C.G., Mc Caffery, F., Buglione, L.customization

7A study on agility and testing processes Kettunen, V., Kasurinen, J., 2010

in software organizations Taipale, O., Smolander, K.

8A test process improvement model for embedded Jung, E. 2009

software developments

9Adapting and adjusting test process reflecting Lee,C. 2009

characteristics of embedded software andindustrial properties based on referential models

10A proposal of a process model to create a test Sanz, A., Garca, J., 2009

factory Saldaa, J., Amescua, A.

11Factors with negative influence on software Fernndez-Sanz, L., Villalba, 2009

testing practice in Spain: A survey M.T., Hilera, J.R., Lacuesta, R.

12The solution of very large non-linear algebraic Manca, D., Buzzi-Ferraris, G., 2009

systems Cuoci, A., Frassoldati, A.Fonte: Dados da pesquisa

Os trabalhos resultantes mais prximos, segundo a mquina de busca Scopus, esto pre-sentes no Quadro 1, contudo no se obteve um trabalho relacionado diretamente a multimodelospara teste de software, concluso notada aps leitura dos abstracts dos artigos. Com isso, a nocerteza da existncia de trabalhos ao objetivo da pesquisa, fez com que novas consultas emoutras mquinas de busca fossem realizadas.

Adotando a ferramenta El Compendex, optou-se por utilizar a consulta anterior. prin-cpio seriam adotadas apenas as palavras relacionadas pesquisa, e depois a integrao comas reas de interesse e ano de publicao. Como a busca realizada resultou em apenas um tra-balho (trabalho de ndice 3 no Quadro 1), no foi necessrio incluir restries para o filtro debusca. Logo, essa consulta passou a ser nica para esta mquina de busca, como pode ser vistaa seguir: (test process OR process improvement OR verification process OR V&VOR V&VT OR processo de teste OR melhoria de processo OR melhoria de teste OR

processo de verificacao) AND ((MPT AND TMMI) OR TMMI OR MPT) AND

((multimodels OR multi-models OR multimodel OR multi-model OR multiple te-

chnologies) OR (HARMONIZING OR INTEGRATING OR COMPARING OR MAP-



PING OR APPLYING)).

Sem trabalhos relacionados diretamente ao objetivo da pesquisa, optou-se por utilizara mquina de busca JAIRO (repositrio institucional japons), porm no foi obtido trabalhorelacionado com a consulta adaptada, do qual foi necessrio ajust-la devido restrio nocampo de busca do repositrio: test process OR process improvement OR verificationprocess OR VV OR V&VT OR processo de teste OR melhoria de processo OR

melhoria de teste OR processo de verificao AND ((MPT AND TMMI) OR TMMI

OR MPT).

Atravs de uma nova consulta, utilizando a mquina de busca IEEE, foram obtidos doistrabalhos. Destes trabalhos no foram utilizados filtros por ano devido ao nmero reduzido detrabalhos encontrados. Foi utilizada a seguinte consulta: Document Title:((Document Ti-tle:test process OR Document Title:process improvement OR Document Title: ve-

rification process OR Document Title:V&V OR Document Title:V&VT OR Docu-

ment Title:processo de teste OR Document Title:melhoria de processo OR Document

Title:melhoria de teste OR Document Title:processo de verificacao) AND (Document

Title:MPT OR Document Title:TMMI OR (Document Title:TMMI AND Docu-

ment Title:MPT)) AND ((Document Title:multimodels OR Document Title:multi-

models OR Document Title:multimodel OR Document Title:multi-model OR Do-

cument Title:multiple technologies) OR (Document Title:HARMONIZING OR Do-

cument Title:INTEGRATING OR Document Title:COMPARING OR Document Ti-

tle:MAPPING OR Document Title:APPLYING))). Entretanto, novamente sem sucessopara trabalhos ligados diretamente ao tema da pesquisa, como pode ser visto no Quadro 2.

Quadro 2 Lista de trabalhos relacionados filtrados pela mquina de busca IEEEID Ttulo Autor(es) Ano

1Fetais, A. Al-Abdulla, D.; 2008

Digital government services machine DGSM Alatawnah, A.; Alkhulaifi, S.;El-fouly, T.

2Design and Implementation of Workflow Fuxiang Gao; Wei Bo; Lan Yao 2009System on Bachelor Degree Final Design

Fonte: Dados da pesquisa

Na mquina de busca da ACM foram realizadas algumas consultas com o intuito de en-contrar trabalhos relacionados ao contexto da pesquisa. Na primeira execuo foi realizada aseguinte consulta TMMI OR MPT OR (MPT OR TMMI) resultando em 198 traba-lhos. Na segunda execuo foi utilizada a seguinte consulta TMMI OR MPT OR (MPTOR TMMI) AND (test process OR process improvement OR verification process OR

V&V OR V&VT OR processo de teste OR melhoria de processo OR melhoria de

teste OR processo de verificacao), resultando em 24 trabalhos. Como estes destoavam dofoco da pesquisa, foi realizada a consulta no Abstract com a seguinte string de busca: ((TMMIOR MPT OR (MPT OR TMMI)) AND (test process OR process improvement OR

verification process OR V&V OR V&VT OR processo de teste OR melhoria de pro-



cesso OR melhoria de teste OR processo de verificacao)). Esta consulta no resultou emnenhum trabalho, assim, a fim de garantir a no existncia de trabalhos com este foco, foi rea-lizada uma segunda pesquisa atravs da seguinte consulta no Abstract: ((TMMI OR MPTOR (MPT OR TMMI)) AND (multimodels OR multi-models OR multimodel OR

multi-model OR multiple technologies OR HARMONIZING OR INTEGRATING OR

COMPARING OR MAPPING OR APPLYING)). Nesta consulta tambm no foramencontrados trabalhos.

Com as buscas realizadas obteve-se um total de 14 trabalhos, dos quais nenhum tratade multimodelos de teste de software. importante ressaltar que foram encontrados trabalhosque tentam unir prticas de verificao e validao (BROWNE et al., 2006; STROOPER; WOJ-CICKI, 2007), porm estes foram unificados de forma ad hoc baseado nas necessidades dosautores, logo estes trabalhos no foram classificados. O que se pode destacar que o trabalho aser realizado algo novo para a rea de processo de teste de software na literatura. Com isso,necessitou-se considerar o trabalho de (MELLO, 2011), no qual realizada uma reviso siste-mtica sobre melhoria de processos de software multimodelos, considerando, inclusive, o seutrabalho, por abordar objetivos similares a esta pesquisa.

2.2 Resultados obtidos

Adaptar prticas a fim de atender norma (ISO) e modelo (MPS.BR) o que relatamMello e Rocha (2009) ao descrever a expertise adquirida ao utilizar dois padres para atenderas expectativas de implementar os nveis G e E do MPS.BR e da certificao ISO 9001. Nestetrabalho os autores relatam os fatores de sucessos, dificuldades e suas aes de resolues.Vale ressaltar a apresentao do mapeamento entre a norma e o modelo, destacando a harmoniaem alguns aspectos presentes em ambos os padres para sua adequao. Mesmo apresentandoas caractersticas em implementaes multimodelos para MPS.BR e ISO, este trabalho abordauma norma que tende a diminuir seus praticantes como mostra o estudo do Ministrio da Ci-ncia, Tecnologia e Inovao (2012), que apresenta um crescimento significativo das empresasadotantes de modelos de qualidade de software comparado com a norma exposta, sendo esteum dos indicadores de tendncia de adoo destes tipos de padres nos prximos anos.

Outro trabalho de cunho similar, porm adotando uma diferente tica ao supracitado, o de Souza et al. (2009), que trata das lies aprendidas e recomendaes na adoo de doismodelos CMMI e MPS.BR nos nveis 3 e C, respectivamente, destacando a viso dos diferentesenvolvidos no processo: avaliador MPS.BR, avaliador CMMI (lead appraiser), da instituioimplementadora e do ponto de vista da empresa aderente. Este trabalho, junto aos documen-tos oficiais (CMMI e MPS.BR), auxilia de forma significativa a adoo dos nveis 3 e C emimplementaes multimodelos. Porm estes trabalhos envolvem o processo de software de ummodo geral, ou seja, todos os processos abrangentes nos respectivos nveis abordados devido



a exigncia dos modelos utilizados para obteno dos selos, incluindo assim fases diferentesdo processo de desenvolvimento do software.

Os dois prximos trabalhos citados compartilham de um mesmo propsito: fornecer in-sumos voltados para implementaes multimodelos. A ferramenta FAPS (THIRY et al., 2008)oferece um suporte avaliativo por meio dos padres MPS.BR, CMMI e ISO/IEC 15504, atra-vs de um nico processo. Enquanto Mello (2011), atravs dos modelos MPS.BR e CMMI,apresenta um mapeamento dos resultados esperados e prticas especficas, com consideraese classificaes. Esses produtos gerados, seja pela ferramenta ou pelo mapeamento, auxiliameste tipo de implementao, porm a ferramenta adota apenas a prtica de avaliao simultneados modelos, podendo ser um empecilho em alguns casos devido a essa limitao.

Com os trabalhos citados, percebe-se que apesar dos modelos trabalharem de forma di-ferentes em reas equivalentes, eles apresentam similaridades em algumas prticas, que podemser melhor exploradas quando utilizados em implementaes multimodelos. Outro ponto inte-ressante a diferente tica dos envolvidos para essas implementaes e produtos gerados queauxiliam durante esta execuo, fatos estes que sero explorados e gerados durante esta pes-quisa. Entre os trabalhos explorados, o de maior interesse e similaridade pesquisa descritaneste artigo o de Mello (2011), destacando prticas que podem ser aproveitadas na ntegra etambm apenas ajustando s reais necessidades da pesquisa.

3 METODOLOGIA DA PESQUISA

Alinhado ao objetivo do projeto SPIDER Software Process Improvement: Develop-ment and Research (OLIVEIRA et al., 2010), que tem como um dos focos principais apresentarum levantamento das ferramentas de software livre com caractersticas adequadas para possibi-litar a criao de produtos de trabalhos (artefatos) derivados dos resultados esperados descritosnos objetivos dos processos do MPS.BR (SOFTEX, 2012) e CMMI (SOFTWARE ENGINE-ERING INSTITUTE, 2010), e a pretenso de propagao de modelos de qualidade, foi explo-rado durante o perodo da pesquisa o modelo brasileiro MPT.Br (SOFTEX RECIFE, 2011), queabrange a disciplina de teste. Assim, foi possvel analisar sua estrutura e a forma de atuao nomercado, possibilitando apresentar uma proposta de trabalho com a colaborao da organizaoadministradora SOFTEX-RECIFE, voltado a implementaes multimodelos.

Pensando em oferecer um suporte implementao e avaliao multimodelos em testede software, este trabalho oferece a proposta de um auxlio s empresas adotantes de tal tipode implementao, referente aos modelos j citados, devido ao modelo brasileiro (MPT.Br) tercomo uma das principais influncias o modelo internacional (TMMi), durante a sua concepo.Para se atingir tal objetivo, utilizando como base a obra de Mello (2011), considerou-se o fluxoexposto na Figura 1 como sendo o ideal para a construo dos documentos de apoio durante



este tipo de implementao.

Figura 1 Viso geral da metodologia de pesquisa adotada

Fonte: adaptado de MELLO, 2011

Inicialmente, foi realizada uma reviso na literatura especializada (citada anteriormente),com o objetivo de verificar os trabalhos relacionados melhoria do processo de teste de soft-ware multimodelos. Com a ausncia de trabalhos nessa linha, optou-se por explorar a revisosistemtica definida por Mello (2011), voltada para melhoria do processo de software multimo-delos, com o intuito de obter conhecimento dos principais pontos explorados durante estes tiposde implementaes.

Aps esta etapa, optou-se por ouvir a opinio das empresas certificadas pelo modeloMPT.Br via videoconferncia com o objetivo de conhecer seu grau de interesse em implemen-taes multimodelos. Foram consultadas pessoas da alta gerncia das organizaes certificadase que conhecem os processos utilizados pela equipe tcnica. As questes abordadas foram di-vididas em dois grupos: (1) questes sobre a organizao como tamanho, rea de concentrao,tipo de servios fornecidos entre outros; e (2) questes tcnicas sobre as prticas utilizadas,nveis adquiridos, planejamento adotado, tempo de aderncia ao MPT.Br, interesse em aderir amais de um modelo de qualidade entre outros (Ver Apndice A). A partir do interesse dessasorganizaes, foi possvel iniciar a elaborao do mapeamento entre os modelos supracitados afim de dar nfase s equivalncias e s divergncias presentes em ambos, visando apoiar essaimplementao. Posteriormente, o resultado do mapeamento foi revisado e avaliado por umespecialista em teste com experincia em modelos de qualidade voltados para software, atravsde uma reviso por pares (descrita na Seo 4.5). Pretende-se, como trabalho futuro, validar omapeamento na indstria a partir de um Estudo de Caso.

3.1 Reviso da literatura especializada

A partir do levantamento de trabalhos que contm informaes de relevncia para apesquisa, com o objetivo de expandir e compreender iniciativas de melhorias de processo desoftware multimodelos, este trabalho buscou atravs de uma reviso da literatura especializadaagregar informaes a fim de qualificar o objetivo da pesquisa.

Como em Mello (2011), que apresenta objetivos similares a esta pesquisa, esta revisobuscou responder questes com as consultas utilizadas nas mquinas de buscas: Quais abor-dagens, tcnicas e processos tm sido propostos e/ou utilizados para mapeamento, integrao e



harmonizao dos modelos MPT.Br e TMMi?; Quais critrios tm sido propostos e/ou ado-tados para mapeamento, integrao e harmonizao dos modelos MPT.Br e TMMi?; e Quaisso as caractersticas das iniciativas de melhoria de processos de testes de software multimode-los em organizaes?.

Para tal, foram utilizadas as mquinas de busca IEEE, Compendex, Scopus e JAIRO. Doqual chegou a concluso da no existncia de trabalhos voltados implementao multimodelosem processo de teste de software, abordando os modelos MPT.Br e TMMi, e tambm abordandopelo menos um dos dois modelos de maneira isolada ligado a outros modelos de qualidade emteste.

3.2 Resultados das entrevistas

A partir de uma anlise qualitativa, que identifica o perfil das organizaes certificadasno modelo MPT.Br atravs de questes envolvendo prticas organizacionais e de teste, foramcoletados dados para a identificao do padro referente s qualidades dos processos geridose utilizados atravs dessas unidades organizacionais envolvidas nesta pesquisa. Foi produzidoum questionrio a partir da experincia em testes dos participantes envolvidos, de forma quefosse possvel extrair informaes das empresas abordadas, identificando suas caractersticasde trabalho, o grau de interesse em modelos de qualidade voltado para teste a partir de seusobjetivos, expectativas e resultados alcanados, identificando, ainda, o grau de interesse emutilizar mais de um modelo de qualidade voltado para teste.

3.2.1 Dados coletados

Com as entrevistas concludas foi possvel coletar algumas informaes a respeito dasorganizaes, baseado em dados do MPT.Br disponvel em seu site at fevereiro de 2013 (SOF-TEX, 2013). Das 17 (dezessete) organizaes certificadas, foi possvel entrevistar 6 (seis), comopode ser visto no Grfico 1, o que representa uma boa amostragem para o contexto da pesquisarealizada.

Das organizaes certificadas possvel identificar que o modelo, por estar em umafase inicial de institucionalizao no mercado, no apresenta empresas certificadas em todos osseus nveis de maturidade, entretanto foi possvel consultar uma amostragem significativa deorganizaes j certificadas em nveis iniciais do modelo, como pode ser visto no Grfico 2, oque pode evidenciar a sua relevncia para o cenrio brasileiro de testes de software.



Grfico 1 Amostra das organizaes entrevistadas


Grfico 2 Amostra das organizaes certificadas por nvel


Foram, ainda, coletadas informaes sobre as prticas executadas a partir da amostra-gem de organizaes certificadas no MPT.Br e participantes da pesquisa. Para certificar em umdos nveis do modelo MPT.Br, a organizao deve aderir a 100% das prticas no respectivonvel, como pode ser visto no Grfico 3. Outra caracterstica que pode ser notada a utiliza-o de prticas prprias (no relacionadas a modelos de qualidade) com uma abordagem de66,6% definida pelos entrevistados e prticas presentes em outros modelos com um percentualde 83,6%.



Grfico 3 Prticas utilizadas pelas organizaes certificadas


O MPS.BR - Melhoria do Processo do Software Brasileiro, que surgiu em dezembro de2003, voltado para a implementao de um programa de melhoria do processo de software emempresas brasileiras, com foco principalmente em empresas de micro, pequeno e mdio porte,pode ser comparado com o MPT.Br em sua fase inicial de institucionalizao no mercado pe-las empresas certificadas. Apesar de ambos os modelos focarem em nichos no equivalentes,apresentam desafios similares em fornecer um conjunto de boas prticas para a melhoria dosprocessos de software. Nos seus primeiros 3 (trs) anos o MPS.BR executou 17 (dezessete) ava-liaes, nmero prximo do modelo MPT.Br, que originou em 2010 e forneceu 16 (dezesseis)avaliaes, como pode ser visto no Grfico 4 (SOFTEX, 2013; SOFTEX RECIFE, 2013).

Grfico 4 Avaliaes executadas nos primeiros trs anos de existncia de cada modelo




3.2.2 Anlise e consideraes sobre os resultados

Os resultados das informaes coletadas evidenciam que todas as organizaes entre-vistadas apresentam uma estruturao tcnica quanto ao seu processo de teste, seja em conjuntocom as demais etapas presentes no processo de desenvolvimento de software ou como aborda-gens exclusivas para teste. Nota-se, ainda, que algumas organizaes evoluem de forma cont-nua em seus processos alm do modelo certificado, ou seja, utilizando solues que melhor seajustem necessidade da organizao e modificando o processo quando necessrio.

Estas organizaes destacam-se no mercado por apresentar qualidade em suas execu-es de teste, o que as diferem no cenrio brasileiro como relata o Ministrio da Cincia, Tec-nologia e Inovao (2012) em um estudo a respeito das prticas apresentadas em organizaesdesenvolvedoras de software no perodo de 1994-2010, retratando a baixa aplicao prtica dasatividades de verificao. Vale ressaltar, ainda, que o grande destaque est no fato destas organi-zaes serem precursoras na adeso ao modelo, e trabalharem diretamente pesquisa cientfica,ganhando com isso maior visibilidade no mercado brasileiro.

Mesmo apresentando benefcios s organizaes, o uso deste modelo de qualidade vol-tado disciplina de teste baixo no Brasil, no presente em todas as regies do pas, fatores quese justificam devido: falta de cultura em aderncia a modelos de qualidade no processo de pro-duo de software e/ou no considerar a disciplina de teste como uma etapa fundamental nesteprocesso de produo; e os custos demandados a essas organizaes quando da implementaoe avaliao do modelo, mesmo que estes custos sejam inferiores aos modelos internacionais(MINISTRIO DA CINCIA, TECNOLOGIA E INOVAO, 2012).

A partir dos resultados obtidos com as organizaes entrevistadas, pode-se notar quea cultura de abordar modelos de qualidade originaram da alta administrao, uma vez que osentrevistados pertencem ao nvel estratgico destas organizaes, facilitando, assim, a presenadas boas prticas constantes nos modelos de qualidade como forma de melhoria em seus proces-sos. Isso pode favorecer o alinhamento do plano estratgico das organizaes nos nveis tticoe operacional, mantendo uma cultura organizada e aderente ao uso de boas prticas presentesna literatura especializada.

3.3 Elaborao do mapeamento dos modelos MPT.Br e TMMi

Para a elaborao do artefato proposto a partir dos modelos MPT.Br e TMMi, ressalta-se o mapeamento como uma das prticas presentes na literatura, simplificando e explicitandoas caractersticas dos modelos. O fluxo de trabalho diagramado na Figura 2 e descrito a seguir,sofreu influncia de Baldassarre et al. (2010) e Mello (2011), onde foi definido um modelo comoorigem (MPT.Br) e outro como destino (TMMi), para a execuo das atividades descritas.



A princpio foi analisada a estrutura de cada padro, para poder correlacionar seus ele-mentos, a fim de equiparar os modelos. Em seguida foram definidos critrios de classificaoque servem de parmetros para apresentar o grau de paridade dos modelos. Aps esta etapa fo-ram definidos formulrios com o objetivo de organizar e apresentar as informaes de maneiraprtica para o adotante. Em seguida, foi realizada de fato a comparao das reas de processopresentes nos modelos, sendo esta etapa realimentada pelos resultados da reviso por pares,que revisa e avalia o grau de integridade e completude no mapeamento desses modelos. Maisdetalhes de cada uma destas etapas sero descritos na Seo 4.

Figura 2 Estrutura da elaborao do mapeamento

Fonte: adaptado de MELLO, 2011

Vale ressaltar que comparaes de aderncia em modelos diferentes um desafio. Pa-dres diferentes tendem a seguir caminhos diferentes mesmo quando se tem objetivos iguais,por tratar de diretrizes distintas mesmo quando abrangem reas equivalentes. Neste sentido,destaca-se que cada padro deve conter suas caractersticas especficas e essas se sobrepemsobre caractersticas de outros padres (MUTAFELIJA; STROMBERG, 2009).

3.4 Avaliao do mapeamento com especialista

A anlise do mapeamento gerado foi realizada por um especialista nos modelos utili-zados. Assim, destaca-se a tcnica de Reviso por Pares, com a qual pretendeu-se: avaliaros critrios utilizados para a comparao dos modelos; verificar a aderncia entre os elementospresentes nas estruturas dos modelos, quanto a sua correspondncia e interpretao dos elemen-tos; e analisar se as consideraes feitas sobre o mapeamento das prticas presentes nos padresutilizados, atravs de reviso por pares, esclarecem suas atribuies. Assim, o foco principal dareviso foi analisar os mapeamentos dos ativos dos Nveis de Maturidade, reas de Processo,Prticas Especficas e Prticas Genricas constantes nos nveis de maturidade 1 e 2 do MPT.Brem relao aos ativos presentes no TMMi.



Para a realizao da Reviso por Pares obteve-se apoio de um consultor e avaliadorcertificado no modelo MPT.Br e especialista na rea de teste de software, considerando comouma amostragem conveniente e extremamente significativa para o objetivo do trabalho proposto,alm de apresentar um grande domnio referente aos modelos.

Foi, ainda, elaborada uma planilha5 que serviu de apoio ao avaliador quanto adequa-o das informaes geridas. Atravs desta planilha foi possvel classificar cada comentrio,sugerir novos textos de adaptaes, identificar problemas, erros de portugus e dvidas sobreo contedo. Aps esse feedback foram realizadas algumas correes no mapeamento, a fim deresolver tais problemas.

4 MAPEAMENTO DOS MODELOS MPT.BR E TMMI

O mapeamento entre os modelos foi realizado a partir de um conjunto de atividadessequenciais com o intuito de melhor comparar os modelos e destacar suas peculiaridades. Paraisso, os seguintes passos (apresentados na Figura 2 e melhor descritos nas prximas subsees)foram usados: anlise dos componentes dos modelos; definio de critrios de classificao;definio dos formulrios padro; comparao das reas de processos; e avaliao a partir dareviso por pares.

4.1 Anlise dos componentes dos modelos

Cada um dos modelos apresenta uma estrutura de acordo com seus objetivos, entretantoapresentam certa similaridade em cada um dos componentes dessas estruturas, como pode servisto na Figura 7. As caixas de cores similares foram comparadas nos modelos. Para estaanlise levou-se em considerao o Guia de Referncia do MPT.Br (SOFTEX RECIFE, 2011)e o modelo de referncia do TMMi (TMMI FOUNDATION, 2012).

O modelo MPT.Br trabalha com a seguinte estrutura (apresentado na Figura 7): cadanvel de maturidade composto por um conjunto de reas de processo; cada rea de processo composta por um agrupamento de prticas especficas (relacionadas), que quando aplicadascoletivamente, satisfazem um determinado objetivo, sendo que ao se implementar a rea deprocesso em questo, benefcios tangveis so alcanados; a prtica especfica um resultadoobservvel do sucesso do alcance do objetivo da rea de processo, assim como as prticasgenricas, que tambm esto associadas a cada nvel de maturidade. Este conjunto de prticasgenricas deve ser aplicado a cada rea de processo que compe o nvel de maturidade almejado.Adicionalmente, este conjunto de prticas genricas atende a um objetivo genrico, que pode

5Disponvel em: https://dl.dropboxusercontent.com/u/41462569/SPIDER_Formulario_RevisaoPorPares.pdf



estar presente em mais de uma rea de processo e consiste nos perfis de capacidade das reas deprocessos, que precisam ser cumpridas por todas as reas de processo de um determinado nvelde maturidade (SOFTEX RECIFE, 2011).

O modelo TMMi formado por nveis de maturidade (apresentado na Figura 3), que sodecompostos em reas de processos, que por sua vez so formadas por objetivos especficos,que descrevem a caracterstica nica que deve estar presente para satisfazer a rea de processo.A prtica especfica a descrio de uma atividade para alcanar o objetivo especfico, rela-tando, assim, as atividades que se esperam resultar em cumprimento dos objetivos especficosde uma rea de processo. reas de processo contm tambm objetivos genricos, que aparecemem mltiplas reas de processo, que por sua vez descrevem as caractersticas que devem estarpresentes para institucionalizar os processos que implementam uma rea de processo, auxili-ando a determinar se uma rea de processo satisfeita. Os objetivos genricos so formadospor prticas genricas, que descreve uma atividade que considerada importante na realizaodo objetivo genrico associado (TMMI FOUNDATION, 2012).

Figura 3 Estrutura dos modelos MPT.Br e TMMi

Fonte: Elaborada pelos autores

4.2 Definio dos critrios de classificao

A fim de equiparar os modelos em questo e definir critrios claros e objetivos, levou-se em considerao os critrios definidos em Mello e Rocha (2009), baseado nos trabalhosrelacionados abordados, que destacam a importncia dessa definio. Detalhes dos critrios declassificao esto descritos no Quadro 3.



Quadro 3 Classificao utilizada para comparao dos modelosClassificao Utilizada Descrio

Equivalente (EQU)As exigncias do MPT.Br so exatamente as mesmas

exigncias do TMMi.

Equivalente em Conjunto (EQU+)As exigncias do MPT.Br so exatamente as mesmasexigncias do TMMi, quando complementadas com

mais de um resultado esperado ou prtica, ou vice-versa.

No Equivalente (NEQ)As exigncias do MPT.Br no so exatamente as

mesmas exigncias do TMMi, ou vice-versa.

Inexistente (INE)No existe o resultado do MPT.Br

no TMMi ou vice-versa.Fonte: Dados da pesquisa

4.3 Definio dos formulrios padro

Baseado na obra de Mello e Rocha (2009), foram definidos trs tipos de formulriospara auxiliar o mapeamento das prticas presentes nos modelos, levando-se em considerao omodelo MPT.Br como origem e o modelo TMMi como destino, no sendo necessrio o contr-rio, devido a similaridade nos resultados. O primeiro modelo (ver Figura 4, com descries doscampos presentes no formulrio) foi utilizado para mapear as prticas especficas de ambos osmodelos, ressaltando todas as caractersticas presentes nestes itens.

Figura 4 Modelo de formulrio para prticas especficasconstantes nas reas de processos


O segundo modelo utilizado (ver Figura 5) foi definido baseado no primeiro, ajustandoas caractersticas das prticas genricas presentes nos modelos. Este modelo difere do anteriordevido a ausncia de reas de processos para as prticas genricas, uma vez que uma prticagenrica pode estar presente em uma ou mais reas de processo.

Como o modelo de origem foi definido como sendo o MPT.Br, todos os formulrios fo-ram inicialmente preenchidos com as informaes do modelo MPT.Br, seguido do TMMi. Paraas prticas, os formulrios foram acrescidos de uma coluna do lado direito com informaes arespeito da equivalncia: a classificao e os comentrios.

O terceiro modelo (ver Figura 6) equivale comparao das reas de processo presentes



Figura 5 Modelo de formulrio para prticas genricas


em ambos os modelos, mostrando suas equivalncias e destacando a rea de abrangncia dedeterminada rea de processo do MPT.Br. Na primeira coluna definido o nvel de maturidadeequivalente do modelo MPT.Br, seguido do ttulo da rea de processo do MPT.Br na colunacentral e da(s) rea(s) de processo equivalentes no TMMi na coluna direita. Ainda nestaltima coluna apresentado entre parnteses o nmero de prticas especficas de cada nvelutilizado para essa comparao.

Figura 6 Modelo de formulrio paa reas de processo


O mapeamento completo dos nveis dos modelos (1, 2, 3, 4 e 5) est disponvel a par-tir do endereo https://dl.dropboxusercontent.com/u/41462569/SPIDER_mapeamento.zip. Esteendereo contm descries dos mapeamentos, classificao utilizada, reas de processo, estru-tura dos modelos, prticas genricas e o formulrio utilizado para reviso por pares.

4.4 Comparao das reas de processos

Aps o entendimento dos elementos das estruturas, a definio dos formulrios e a es-pecificao dos critrios de avaliao, foi possvel iniciar a comparao dos itens que compema estrutura dos modelos. A princpio foi definido o modelo MPT.Br como origem e o TMMicomo destino, como j citado anteriormente, uma vez que o contrrio resultaria no mesmomapeamento. A partir da Figura 4, que destaca um exemplo de preenchimento das prticas es-pecficas pertencentes em uma rea de processo, foi possvel ajustar as informaes necessriasque compem os formulrios e adotar nas demais reas de processo.

No formulrio padro de prticas especficas (Figura 4) foram coletadas informaes doMPT.Br: identificador com a representao da sigla da prtica especfica seguido do texto daprtica especfica; na parte central foram levantadas informaes da(s) prtica(s) que represen-tasse(m) equivalncia(s) com o MPT.Br presentes no TMMi, compostas da rea de processo,



sigla e texto do objetivo especfico, sigla e texto da prtica especfica; e na coluna mais direitaso apresentadas informaes que representam a classificao (ver Seo 4.2) e o comentrio arespeito dessa equivalncia definida.

Figura 7 Modelo de formulrio preenchido para a prtica especfica


reas de processos contm prticas genricas que podem estar presentes em mais deuma rea de processo (ver Seo 4.1). Com isso, fez-se necessria a utilizao de um formulrioque fosse ajustado s necessidades dessas prticas (Figura 5). Como exemplo de uso, podeser vista a Figura 8, onde a coluna mais esquerda formada pela sigla da prtica genricaseguida de seu texto; na coluna central so apresentados os dados de equivalncia do TMMi,compostos da sigla e texto do objetivo genrico, bem como da sigla e texto da prtica genrica;na coluna mais direita foram adicionadas informaes da classificao utilizada e o comentriode equivalncia entre os itens apresentados.

Figura 8 Modelo de formulrio preenchido para a prtica genrica


Por fim, fez-se necessrio definir a equivalncia entre as reas de processos presentes emambos os modelos, mesmo que sua equivalncia no seja total. Na Figura 9, apresentado umexemplo do modelo aplicado nos dois nveis iniciais: a coluna mais esquerda formada pelasreas de processo presentes no MPT.Br e a coluna mais direita contm as reas de processo doTMMi que se relacionam, bem como o nmero de prticas presentes em cada rea de processo.

De acordo com o levantamento feito a partir das prticas mapeadas nos nveis iniciasdo modelo MPT.Br, foi possvel identificar a quantidade de itens mapeveis (ver figuras 10e 11) em relao aos critrios (ver Subseo 4.2) utilizados para classific-los. Destaca-se,



Figura 9 Equivalncia de reas de processo dos modelos


ainda nesta figura, a presena de equivalncia em grande parte dos ativos (prticas especficase prticas genricas) das reas de processo presentes nos modelos relacionadas, apresentandoInexistncia apenas em alguns itens do mapeamento, evidenciando a similaridade dos ativospresentes nos modelos.

Figura 10 Distribuio das prticas mapeadas nos nveis1, 2 e 5, e prticas genricas do MPT.Br


4.5 Avaliao a partir da reviso por pares

A reviso por pares realizada neste trabalho teve como objetivo: avaliar os critriosutilizados para a comparao dos modelos; verificar a aderncia entre os elementos presentes



Figura 11 Distribuio das prticas mapeadas nos nveis 3 e 4 do MPT.Br


nas estruturas dos modelos, quanto a sua correspondncia e interpretao dos elementos; eanalisar se as consideraes feitas esclarecem suas atribuies (PAVAN; STUMPF, 2007).

Assim, aps realizar os mapeamentos necessrios dos modelos, foi preciso aferir o graude corretude do produto gerado, fazendo-se necessria a avaliao de especialista na rea abor-dada. Portanto, foi necessrio formular um guia de avaliao para o revisor. Baseado nostrabalhos de cunho similar, foi possvel modelar um documento levando em considerao ajus-tes pontuais para o mapeamento e a incluso de questes objetivas para conhecimento do graude qualificao do avaliador.

Estas questes foram cruciais para a definio do perfil do revisor, agregando valor qualificao do mapeamento gerado. O perfil do revisor foi avaliado a partir das seguintes ques-tes: Qual o seu nvel de conhecimento em Modelos de Referncia do Processo de Testes deSoftware? (Ex.: MPT.Br, TMMi etc.); J trabalhou implantando Modelos para Melhoria doProcesso de Testes de Software em uma organizao?; Qual o seu tempo de experincia emImplantao de Modelos para Melhoria do Processo de Teste de Software?; Possui certifica-o em algum Modelo para Melhoria do Processo de Testes de Software?; Qual o seu nvelde conhecimento em Mtodos de Avaliao constantes nos Modelos para Melhoria do Processode Testes de Software?; Caso voc tenha algum nvel de conhecimento em relao questoanterior, por favor, cite em que mtodo(s); Qual o seu tempo de experincia em Avaliao deProcessos de Teste de Software?.

A escolha do revisor foi feita a partir do grupo de implementadores do MPT.Br e deacordo com sua disponibilidade, considerando tambm uma amostragem considerada conveni-ente e qualificada para tal funo. As caractersticas seguintes destacam qualidades que influ-



enciaram na escolha do avaliador: experiente dentro da rea abordada; j trabalhou com pelomenos um dos modelos; conhece os mtodos de avaliaes presentes nos modelos; possui ex-perincia na rea proposta; conhece profundamente a rea abordada; possui certificao em umdos modelos; e trabalha h mais de cinco anos com avaliaes de processo de teste de software.

Parte do documento usado para a avaliao, baseado em Mello e Rocha (2009) e quepode ser visto no Quadro 5 utilizou: um ID que representa um campo auto incremental deconsideraes provenientes das revises; uma Categoria, contendo critrios de classificao(apresentados na Quadro 3); um campo Comentrio com a Justificativa, caracterizando arazo da definio com a categoria e a correlao dos itens; e um campo chamado Novo TextoProposto, com um campo para substituir o texto que se encontra presente no mapeamento, masavaliado como no coerente ao seu objetivo pelo revisor.

Quadro 4 Categorias utilizadas para a reviso por paresSigla Categoria Descrio

TATcnico Alto Indicando que foi encontrado um problema em um

item que, se no for alterado, comprometer asde um resultado esperado ou prtica, ou vice-versa.

TBTcnico Baixo Indicando que foi encontrado um problema em um

item que seria conveniente alterar;

EEditorial Indicando que foi encontrado um erro de portugus

ou que o texto pode ser melhorado;

QQuestionamento Indicando que houve dvidas quanto ao contedo

das consideraes;

GGeral Indicando que o comentrio geral em relao s

consideraes;Fonte: Dados da pesquisa

O Quadro 4 consolida os resultados de incidentes gerados durante a reviso por pa-res. Das categorias utilizadas foram identificados apenas incidentes nas categorias TA (TcnicoAlto) e TB (Tcnico Baixo), dos quais foram registrados 19 incidentes, entre eles podem-secitar alteraes na estrutura dos modelos, nas relaes entre as prticas especficas e entre asprticas genricas.

Quadro 5 Nmero de incidentes coletados a partir da reviso por paresCategoria Incidentes

TA 14TB 5E 0Q 0G 0


No Quadro 5 apresentado parte do documento de reviso por pares preenchido pelorevisor, contendo alteraes sugeridas pelos revisor. Todas as sugestes foram implementadasa fim de melhor qualificar o mapeamento gerado.



Quadro 6 Sugestes geradas na reviso por paresID Cat. Item Comentrio com a Justificativa Novo Texto Proposto

7 TA GPT1 GPT1 Os riscos devem ser do

O MPT.Br considera de uma maneiragenrica que se deve analisar o produto

de software para determinar as reasproduto considerando o negcio. crticas que carecem de testes mais

profundo, considerando o negcio.

8 TA GPT2

Eu acho que esta prtica est Apesar de ambos os modelosligada a Test Planning SG 2 apresentarem grafia diferente para oSP 2.2, pois faz parte, junto com objetivo, eles apresentam objetivosGPT1, da base para a elaborao equivalentes que definir e manter asda estratgia do projeto de teste. metas dos testes alinhados com osLembre-se que Test Policy and objetivos de negcio e servir de base

Strategies diz respeito para a definio da estratgia doorganizao como um todo e no projeto de teste.

a um projeto especfico.

9 TA GPT3

Esta prtica no MPT diz respeito NEQ No existe no TMMi nenhumaao projeto de teste. No TMMi prtica equivalente. A estratgia deuma prtica organizacional que este neste caso tratada a nvel

diz respeito a todos os projetos de organizacional e no MPT ela existe ateste. No encontrei no TMMi nvel organizacional e em nvel deuma prtica relacionada a esta. projeto.


4.6 Como usar

A criao do mapeamento tem como objetivo auxiliar as organizaes nas iniciativasde melhoria de processos de software multimodelos, seja no mbito das implementaes oudas avaliaes de reas de processos de teste de software, atravs da elaborao de planilhasespecficas detalhando cada item presente na estrutura dos modelos. Para as organizaes, essaprtica pode otimizar o tempo, custo e o esforo de adequao e avaliao do processo entreoutros fatores.

A partir da abordagem de gerar o mapeamento, foi possvel destacar diferenas e simi-laridades entre requisitos do MPT.Br e requisitos do TMMi. Mesmo que sejam equivalentese/ou complementares, as diferenas podem significar que um resultado de um modelo pode noatender a outro modelo em consequncia rigorosidade dos modelos (SOFTEX, 2012). Paraisso as planilhas propem oferecer insumos que auxiliem na avaliao e/ou implementao(adequao) aos processos da organizao.



5 CONCLUSO

Este trabalho apresentou uma abordagem de mapeamento dos modelos MPT.Br e TMMivoltado para implementaes e avaliaes multimodelos de processo de teste de software comomaterial de apoio a todos os nveis do MPT.Br, destacando a metodologia de pesquisa, o pro-cesso de mapeamento dos componentes presentes nos modelos supracitados e a abordagemutilizada para o formalismo do material de apoio gerado, alm de apresentar iniciativas e tra-balhos relacionados, que esto presentes nas demais linhas do processo de software como jcitados, dando nfase ao ineditismo deste para o nicho abordado.

Dos formulrios de mapeamento dos modelos, obteve-se um ganho significativo com areviso por pares, por contar com o apoio de um especialista com grande domnio e experinciana rea de teste e modelos de qualidade de teste. Pretende-se, ainda, que este documento sejadisponibilizado SOFTEX-RECIFE com o intuito de fazer parte da documentao oficial domodelo MPT.Br.

Como trabalhos futuros pretende-se utilizar os insumos gerados na indstria como ma-terial de apoio para implementao e avaliao, a fim de qualificar ainda mais o mapeamentogerado, atravs colaboraes dos envolvidos nestas implementaes. Destaca-se como prin-cipal contribuio deste trabalho a planilha das prticas mapeadas, como material de apoio aorganizaes aderentes e instituies implementadoras e avaliadoras dos modelos abordados.

6 AGRADECIMENTOS

Este trabalho est recebendo o apoio financeiro da CAPES Coordenao de Aperfei-oamento de Pessoal de Nvel Superior, atravs de bolsa institucional de pesquisa concedida aoPPGCC-UFPA. Adicionalmente, este projeto possui um apoio tcnico-cientfico da equipe deteste de software da SOFTEX-RECIFE para avaliao dos contedos gerados nos mapeamen-tos.



REFERNCIAS

BALDASSARRE, Maria Teresa et al. A strategy for painless harmonization of quality stan-dards: a real case. In: BABAR, M. Ali; VIERIMAA, Matias; OIVO, Markku (Ed.). Product-focused software process improvement. [S.l.]: Springer Berlin Heidelberg, 2010, (LectureNotes in Computer Science, v. 6156). p. 395408. ISBN 978-3-642-13791-4.

BROWNE, J.C. et al. Unification of verification and validation methods for software systems:progress report and initial case study formulation. In: INTERNATIONAL PARALLEL ANDDISTRIBUTED PROCESSING SYMPOSIUM, 20, 2006, Rhodes Island, Greece. Procee-dings... [S.l.]: IEEE, 2006.

FERREIRA, Analia Irigoyen Ferreiro et al. ISO 9001:2000, MPS.BR NVEL F e CMMI nvel3: Uma estratgia de melhoria de processos na bl informtica. In: SIMPSIO BRASILEIRODE QUALIDADE DE SOFTWARE, 5, 2006, Vila Velha. Anais... [S.l.], 2006.

INTERNATIONAL ORGANIZATION FOR STANDARDIZATION/INTERNATIONALELECTROTECHNICAL COMISSION. ISO/IEC WD 29119-3 Software and SystemsEngineering Software Testing Part 3: test documentation. Geneve: ISO, 2010. Disponvelem: .Acesso em: 2 jan. 2013.

MARINO, Lisa; MORLEY, John. Process improvement in a multimodel environment buildsresilient organizations. In: NEWS AT SOFTWARE ENGINEERING INSTITUTE. Anais...Carnegie Mellon: SEI, 2008. Disponvel em: . Acesso em: 2 jan. 2013.

MELLO, Marcelo Santos de. Melhoria de processos de software multi-modelos baseada nosmodelos MPS e CMMI-DEV. 2011. Dissertao (Mestrado) Mestrado em Engenharia deSistemas e Computao, Universidade Federal do Rio de Janeiro.

MELLO, Marcelo Santos de; ROCHA, Ana Regina. Gesto integrada da melhoria de processosem organizaes de software. In: WORKSHOP ANUAL DO MPS, 5, 2009, Campinas. Anais...[S.l.], 2009. p. 3441.

MINISTRIO DA CINCIA, TECNOLOGIA E INOVAO. Evoluo da Quali-dade de Software no Brasil de 1994-2010 baseada nas pesquisas e projetos doPBQP Software (Relatrio tcnico do MCTI). Paran: UFP, 2012. Disponvel em:. Acesso em: 1 ago. 2013.

MUTAFELIJA, Boris; STROMBERG, Harvey. Process Improvement with CMMI R v1. 2and ISO standards. [S.l.]: CRC Press, 2009.

OLIVEIRA, Sandro Ronaldo Bezerra et al. SPIDER: uma proposta de soluo sistmica de umsuite de ferramentas de software livre de apoio implementao do modelo MPS.BR. Revistado programa brasileiro da qualidade e produtividade em software, Secretaria de Poltica deInformtica - SEPIN, n. 2, p. 103107, jun. 2010.

PAVAN, Cleusa; STUMPF, Ida Regina C. Revistas brasileiras de cincia da informao: proce-dimentos de avaliao pelos pares. In: ENCONTRO NACIONAL DE PESQUISA EM CIN-CIA DA COMPUTAO, 8, 2007, Salvador. Anais... [S.l.]: ENANCIB, 2007.



PRESSMAN, R. S. Engenharia de Software Uma abordagem Profissional. 7. ed. PortoAlegre: Bookman, 2011. 52-57 p.

ROUT, Terence P.; TUFFLEY, Angela. Harmonizing ISO/IEC 15504 and CMMI. Softwareprocess: improvement and practice, Wiley Online Library, v. 12, n. 4, p. 361371, 2007.

SOFTEX. MPS.BR Melhoria de Processo do Software Brasileiro Guia Geral. [S.l.],2012. Disponvel em: . Acesso em: 2 jan. 2013.

SOFTEX. Site oficial. [S.l.], 2013. Disponvel em: Acesso em: 1 fev.2013.

SOFTEX RECIFE. Guia de Referncia do Modelo MPT.Br. Recife, 2011. Disponvel em: Acesso em: 1 Fev. 2013.

SOFTEX RECIFE. Site oficial. Recife, 2013.

SOFTWARE ENGINEERING INSTITUTE. The Capability Maturity Model (CMMI-DEV).Version 1.3, 2010. Technical Report no. CMU/SEI-2010-TR-033. Disponvel em: . Acesso em: 14 nov. 2013.

SOMMERVILLE, I. Engenharia de Software. 9. ed. So Paulo: Pearson Prentice Hall, 2011.

SOUZA, C. et al. Avaliao conjunta cmmi nvel 3 e mps nvel c: Lies aprendidas e reco-mendaes. In: WORKSHOP ANUAL DO MPS, 5, 2009, Campinas. Anais... [S.l.], 2009. p.5261.

STROOPER, P.; WOJCICKI, M.A. Selecting v& v technology combinations: How to pick awinner? In: IEEE INTERNATIONAL CONFERENCE ON ENGINEERING OF COMPLEXCOMPUTER SYSTEMS, 12, 2007, Auckland. Proceedings... Washington: IEEE, 2007. p.8796.

THIRY, M. et al. Aps: Ferramenta para apoiar avaliaes integradas de processos de software.In: WORKSHOP DE IMPLEMENTADORES, 4, 2008. Anais... [S.l.]: W2-MPS.BR, 2008.

TMMI FOUNDATION. Test Maturity Model Integration. Release 1.0, 2012. Disponvel em:. Acesso em: 1 out. 2012.

WELLS, Brian. The test maturity model integrated (TMMI R): Measuring our capability todeliver! Testing Experience, n. 3, p. 8789, Sept. 2008. ISSN 1866-5705.



APNDICE A QUESTES UTILIZADAS PARA A PESQUISA QUALITATIVA

Questes utilizadas para a pesquisa qualitativandice Itens do Questionrio

1 Sobre a Organizao1.1 Qual(is) a(s) funo(es) do(s) entrevistado(s) na organizao?1.2 Qual(is) a(s) funo(es) do(s) entrevistado(s) na organizao?1.3 Qual(is) a(s) funo(es) do(s) entrevistado(s) na organizao?1.4 Qual(is) a(s) funo(es) do(s) entrevistado(s) na organizao?

1.5Qual o foco da organizao? Fbrica de Software, Fbrica

de Teste, Fbrica de Componentes, ou outro tipo?2 Sobre os Testes Realizados

2.1H alguma prtica para identificar o conhecimento e as habilidades necessriaspara a execuo das atividades de teste da organizao e dos projetos? Se sim,

como realizado?

2.2Caso a questo anterior seja positiva, o planejamento estratgico de longoprazo da organizao levado em considerao? Se sim, como e com que

periodicidade realizado o planejamento?

2.3Como os indivduos com as habilidades e conhecimento identificados na

questo anterior so recrutados pela organizao?

2.4Como a produtividade/efetividade dos Testes so avaliadas e registradas, ou

seja, quais os procedimentos so utilizados?2.5 Qual nvel sua organizao atingiu do MPT.Br?2.6 Quanto tempo durou a implementao do modelo?

2.7Quais as modificaes foram notadas na organizao antes e depois da

implementao do MPT.Br?2.8 Quais os benefcios alcanados para a organizao no processo e fora dele?

2.9A partir da experincia adquirida voc implementaria novamente o modelo

MPT.Br?

2.10Tem interesse na implementao do TMMi ou outros modelos de melhoria de

teste?



Documents

6021-24007-1-PB