Importância de testes automatizados para sustentar Continuous Delivery e DevOps

@samantacicilia

Sobre mim

Importância de Testes Automatizados

Quadrante de Testes

Pirâmide de Testes & Antipadrões

Tipos de Teste & Continuous Delivery

Demo

Referências

@samantacicilia

Sobre mim

@samantacicilia

insideoutproject.com.br

Mulheres Palestrantes

http://insideoutproject.com.br/mulheres-palestrantes

Importância de Testes Automatizados

@samantacicilia

Testes automatizados?

Testes automatizados?

- Feedback rápido;

Testes automatizados?

- Feedback rápido;

- Menos passível de erro de execução;

Testes automatizados?

- Feedback rápido;

- Menos passível de erro de execução;

- Executar testes automatizados no decorrer do pipeline ++ qualidade;

Testes automatizados?

- Feedback rápido;

- Menos passível de erro de execução;

- Executar testes automatizados no decorrer do pipeline ++ qualidade;

- Melhoria Contínua na Estratégia de Testes;

Testes automatizados?

- Feedback rápido;

- Menos passível de erro de execução;

- Executar testes automatizados no decorrer do pipeline ++ qualidade;

- Melhoria Contínua na Estratégia de Testes;

- Testes = especificação executável do comportamento do sistema;

Testes automatizados?

- Feedback rápido;

- Menos passível de erro de execução;

- Executar testes automatizados no decorrer do pipeline ++ qualidade;

- Melhoria Contínua na Estratégia de Testes;

- Testes = especificação executável do comportamento do sistema;

- Feedback, Feedback, Feedback;

Quadrante de Testes

@samantacicilia

@samantacicilia

Pirâmide de Testes

@samantacicilia

@samantacicilia

@samantacicilia

Antipadrões

@samantacicilia

@samantacicilia

@samantacicilia

Tipos de Teste &

Continuous Delivery

@samantacicilia

Testes Unitários

@samantacicilia

Testes Unitários

@samantacicilia

Testes Unitários

@samantacicilia

- Feedback extremamente rápido;

Testes Unitários

@samantacicilia

- Feedback extremamente rápido;

- 10-minute build (eXtreme Programming);

Testes Unitários

@samantacicilia

- Feedback extremamente rápido;

- 10-minute build (eXtreme Programming);

- Testes de valores limite, diferentes combinações, excessões…

Testes Unitários

@samantacicilia

- Feedback extremamente rápido;

- 10-minute build (eXtreme Programming);

- Testes de valores limite, diferentes combinações, excessões…

- Cobertura de Código;

Testes Unitários

@samantacicilia

- Feedback extremamente rápido;

- 10-minute build (eXtreme Programming);

- Testes de valores limite, diferentes combinações, excessões…

- Cobertura de Código;

- Segurança para fazer mudanças (eXtreme Programming);

Testes Unitários

@samantacicilia

- Feedback extremamente rápido;

- 10-minute build (eXtreme Programming);

- Testes de valores limite, diferentes combinações, excessões…

- Cobertura de Código;

- Segurança para fazer mudanças (eXtreme Programming);

- Qualidade também nos testes unitários!

Testes Unitários

@samantacicilia

- Feedback extremamente rápido;

- 10-minute build (eXtreme Programming);

- Testes de valores limite, diferentes combinações, excessões…

- Cobertura de Código;

- Segurança para fazer mudanças (eXtreme Programming);

- Qualidade também nos testes unitários!

- Test Driven Development;

Testes Unitários

@samantacicilia

- Feedback extremamente rápido;

- 10-minute build (eXtreme Programming);

- Testes de valores limite, diferentes combinações, excessões…

- Cobertura de Código;

- Segurança para fazer mudanças (eXtreme Programming);

- Qualidade também nos testes unitários!

- Test Driven Development;

- Design de Código que permita testes;

Testes Unitários

@samantacicilia

- Feedback extremamente rápido;

- 10-minute build (eXtreme Programming);

- Testes de valores limite, diferentes combinações, excessões…

- Cobertura de Código;

- Segurança para fazer mudanças (eXtreme Programming);

- Qualidade também nos testes unitários!

- Test Driven Development;

- Design de Código que permita testes;

- Mocks;

Ferramentas

@samantacicilia

Links das Ferramentas

@samantacicilia

- http://junit.org/junit4/

- http://www.nunit.org/

- http://testng.org/doc/index.html

- https://phpunit.de/

- http://jasmine.github.io/

- https://mochajs.org/

- http://robolectric.org/

- http://rspec.info/

- https://docs.python.org/2.7/library/unittest.html

Testes de Mutação

@samantacicilia

Testes de Mutação

@samantacicilia

- Testar seus Testes Unitários;

Testes de Mutação

@samantacicilia

- Testar seus Testes Unitários;

- Ferramenta introduz mutações no seu código e executa os testes unitários;

Testes de Mutação

@samantacicilia

- Testar seus Testes Unitários;

- Ferramenta introduz mutações no seu código e executa os testes unitários;

- Se os testes falharem = OK!

Testes de Mutação

@samantacicilia

- Testar seus Testes Unitários;

- Ferramenta introduz mutações no seu código e executa os testes unitários;

- Se os testes falharem = OK!

- Se os testes passarem = NOK!

Testes de Mutação

@samantacicilia

Ferramentas

@samantacicilia

Links das Ferramentas

@samantacicilia

- http://pitest.org/

- https://pypi.python.org/pypi/MutPy

- https://ninjaturtles.codeplex.com/

- http://visualmutator.github.io/web/

- https://github.com/mbj/mutant

- http://jumble.sourceforge.net/

Testes de Serviços

@samantacicilia

Testes de Serviço

@samantacicilia

Testes de Serviço

@samantacicilia

- Depois dos Testes de Unidade e antes dos Testes de UI;

Testes de Serviço

@samantacicilia

- Depois dos Testes de Unidade e antes dos Testes de UI;

- Testar seu app + módulos, componentes, banco de dados;

Testes de Serviço

@samantacicilia

- Depois dos Testes de Unidade e antes dos Testes de UI;

- Testar seu app + módulos, componentes, banco de dados;

- Sem interface;

Testes de Serviço

@samantacicilia

- Depois dos Testes de Unidade e antes dos Testes de UI;

- Testar seu app + módulos, componentes, banco de dados;

- Sem interface;

- Stubs;

Testes de Serviço

@samantacicilia

Testes de Serviço

@samantacicilia

- Integração/Componentes

Testes de Serviço

@samantacicilia

- Integração/Componentes

- Contratos

Testes de Serviço

@samantacicilia

- Integração/Componentes

- Contratos

- API/Webservices

Ferramentas

@samantacicilia

Links das Ferramentas

@samantacicilia

- https://www.soapui.org/

- https://github.com/jayway/rest-assured

- http://flask-restless.readthedocs.io/en/stable/

- http://frisbyjs.com/

- https://github.com/visionmedia/supertest

- https://github.com/svanoort/pyresttest

- https://github.com/rest-client/rest-client

- https://github.com/brooklynDev/airborne

Testes de UI

@samantacicilia

Testes Funcionais

@samantacicilia

Testes Funcionais

@samantacicilia

- Lentos :(

Testes Funcionais

@samantacicilia

- Lentos :(

- Fluxos principais da aplicação;

Testes Funcionais

@samantacicilia

- Lentos :(

- Fluxos principais da aplicação;

- Diferentes browsers (IE, Firefox, Chrome, Safari & Headless);

Testes Funcionais

@samantacicilia

- Lentos :(

- Fluxos principais da aplicação;

- Diferentes browsers (IE, Firefox, Chrome, Safari & Headless);

- Mobile;

Ferramentas

@samantacicilia

Links das Ferramentas

@samantacicilia

- http://www.seleniumhq.org/

- https://github.com/jnicklas/capybara

- http://angular.github.io/protractor/#/

- https://github.com/RobotiumTech/robotium

- http://calaba.sh/

- http://appium.io/

Testes de Regressão Visual

@samantacicilia

- Comparação de Imagens;

Testes de Regressão Visual

@samantacicilia

- Comparação de Imagens;

Ferramentas

@samantacicilia

Links das Ferramentas

@samantacicilia

- https://github.com/yahoo/kobold

- https://github.com/Huddle/PhantomCSS

- https://applitools.com/

- https://dpxdt-test.appspot.com/

- https://github.com/BBC-News/wraith

- https://github.com/xebia/VisualReview

Bônus

@samantacicilia

Testes de Performance

@samantacicilia

Testes de Performance

@samantacicilia

- Comportamento da aplicação diante de uma carga conhecida;

Testes de Performance

@samantacicilia

- Comportamento da aplicação diante de uma carga conhecida;

- Baselines;

Testes de Performance

@samantacicilia

- Comportamento da aplicação diante de uma carga conhecida;

- Baselines;

- Ter um ambiente para esses testes;

Testes de Performance

@samantacicilia

- Comportamento da aplicação diante de uma carga conhecida;

- Baselines;

- Ter um ambiente para esses testes;

- Definir as métricas;

Testes de Performance

@samantacicilia

- Comportamento da aplicação diante de uma carga conhecida;

- Baselines;

- Ter um ambiente para esses testes;

- Definir as métricas;

- Análise automática???

Ferramentas

@samantacicilia

Links das Ferramentas

@samantacicilia

- http://www.radview.com/pt-br/baixe-o-webload/

- https://smartbear.com/product/loadcomplete/overview/

- http://www.neotys.com/neoload/overview

- http://jmeter.apache.org/

- http://grinder.sourceforge.net/

- http://locust.io/

- http://gatling.io/

- https://www.loadui.org/

E Continuous Delivery?

@samantacicilia

Testes X Estágios

@samantacicilia

Testes X Estágios

@samantacicilia

- Estágio de Commit:

- Testes Unitários

- Testes de Mutação

Testes X Estágios

@samantacicilia

- Estágio de Commit:

- Testes Unitários

- Testes de Mutação

- Estágio de Aceite (primeiro ambiente):

- Testes de Serviço

Testes X Estágios

@samantacicilia

- Estágio de Commit:

- Testes Unitários

- Testes de Mutação

- Estágio de Aceite (primeiro ambiente):

- Testes de Serviço

- Estágio de Aceite (pré-produção):

- Testes de UI

- Testes de Regressão Visual

- Testes de Performance

Demo

@samantacicilia

Ruby:- Unitário (Rspec)

- Mutação (mutant-rspec)

https://github.com/samycici/mutation_example

@samantacicilia

Exemplo 1

Exemplo 1

Exemplo 1

Exemplo 1

Exemplo 2

Exemplo 2

Exemplo 2

App em Python usando Flask:- Unitário (unittest + fixtures)- Integração (unittest + sqlite)

- API (pyresttest)- Funcional (selenium)

- Performance (locust.io)

https://github.com/samycici/todoapp-flask

@samantacicilia

Referências

@samantacicilia

@samantacicilia

http://www.guru99.com/mutation-testing.html

http://blog.arkency.com/2015/05/mutation-testing-and-continuous-integration/

http://blog.arkency.com/2015/06/how-good-are-your-ruby-tests-testing-your-tests-with-mutant/

https://blog.blockscore.com/how-to-write-better-code-using-mutation-testing/

http://www.slideshare.net/stefanteixeira/vr-dev-summit-2016-primeiros-passos-em-automao-de-testes

http://pt.slideshare.net/fredoriginal/palestra-de-como-testar-sua-api-rest-no-grupo-de-teste-carioca

https://css-tricks.com/visual-regression-testing-with-phantomcss/

http://www.softwaretestinghelp.com/performance-testing-tools-load-testing-tools/

https://talkingabouttesting.com/2015/08/19/mao-na-massa-com-visual-review-e-protractor/

https://robots.thoughtbot.com/how-to-stub-external-services-in-tests

Contatos➔ testedesoftware.com➔ rtstreinamentos.com.br➔ medium.com/@samantacicilia

➔ Linkedin: Samanta Cicilia➔ Twitter: @samantacicilia➔ Slideshare: pt.slideshare.net/samantacicilia/➔ Email: samycici@gmail.com