Real  Time  Trend  &  Failure  Analysis  using  

Test  Trend  Analyzer  (TTA)  

Anand  Bagmar  Aasawaree  Deshmukh  

Reality  in  Organiza.ons  

Product  1   Product  2  

Product  3   Product  4  

Test  Trend  Analyzer    (TTA)  

•  A  single  point,  visual  solu0on  to  gauge  the  health  of  your  product  por:olio  using  Test  Automa.on  results    by  means  of  –  –  Compara.ve  views    –  Trends  analysis  –  Failure  analysis  

•  and  providing  –  Drill-­‐down  reports  –  Customizable  reports  

•  So  that    –  Different  stakeholders  can  get  single  click  view  of  the  health  status  and  poten.al  

issues  –  A  project  team  can  decide  if  automa.on  is  useful  or  not.  –   automated  data  colla.on  and  trending  to  avoid  manual  data  aggrega.on  and  

interpreta.on  •  With  the  stakeholders  being  

–  Developers  –  QA  –  QA  Leads  /  Manager  /  Directors  –  Tech-­‐Ops  

TTA  –  Test  Trend  Analyzer  -­‐  Vision  

Collect  Test  Run  data  in  TTA  

•  Automa.c  Upload  

•  Manual  Upload  

Test  Framework  

CI  Integra.on  

Job(s)  Triggered  

   

Test  Command        

Clean  /  Compile  /  Setup      

Run  Tests        

Return  to  CI      

CI  job  triggered     Build  Tool  

Test  Command      

Clean  /  Compile  /  Setup    

Run  Tests      

Send  results  to  TTA    

Return  to  CI    

CI  job  triggered    Build  Tool  

Ant  /  Maven  /  Gradle  /    Make  /  Rake  …  

xUnit  /  testNG  /  …  Java  /  C#  /  Perl  /  Python  /  Ruby  …  

GO  /  Hudson  /  Jenkins  /  Bamboo  /  ..  

For  Different  Sub  –  Projects    

74  67  

89   90  

10   12   8  2  3   5   4   8  

Project  1   Project  2   Project  3   Project  4  

Tests  Summary  

%  of  Tests  Passed   %  of  Tests  Failed   %  of  Errors  

Test  Status  for  a  Single  Project  

88%  

10%   2%  

Project-­‐ABC  

%  of  tests  passed  

%  of  tests  failed  

%  of  tests  not  completed  

For  Tech-­‐Ops  /  IT  

0  

2  

4  

6  

8  

10  

12  

Machine  1   Machine  2   Machine  3   Machine  4  Project  1   10   12   6   7  Project  2   4   8   0   9  Project  3   2   4   9   5  

No.  of  h

ours  

Machine  U0liza0on  for  Test  Execu0on  

How  to  use  TTA  

•  Copyright  2013  ThoughtWorks,  Inc.    •  Distributed  under  the  Apache  2.0  License  •  Available  on  github  at:    – hdps://github.com/anandbagmar/da  

•  Instruc.ons  available  on  github  wiki  at:  – hdps://github.com/anandbagmar/da/wiki  

 

•  Contact:  – Send  an  email  to  da@thoughtworks.com  – @BagmarAnand  

Copyright  2013  ThoughtWorks,  Inc.  Apache  2.0  License