19
Réduire les coûts des tests de performance ? La validation continue de la performance ! Hervé SERVY, spécialiste du test de performance Test et monitoring de perf.

20151013 - Réduire les coûts des tests de performance ?

Embed Size (px)

Citation preview

Page 1: 20151013 - Réduire les coûts des tests de performance ?

Réduire les coûts des tests de performance ?

La validation continue de la performance !

Hervé SERVY, spécialiste du test de performance

Test et monitoring de perf.

Page 2: 20151013 - Réduire les coûts des tests de performance ?

Test de performance des applications et monitoring en production

Les composantes du coûtCoût de l’outillage et environnement

Coût du test : coût d’exploitation de la plateforme de tests.

Coûts de correction : coût des actions correctrices sur le logiciel ou le hardware suite aux tests.

Page 3: 20151013 - Réduire les coûts des tests de performance ?

Test de performance des applications et monitoring en production

Détecter un problème tôt = Réduire les coûts de correction

Discovery Design Development Testing Production

Co

ût

de

la c

orr

ecti

on

Temps

Trop tard pour découvrir un problème de perf majeur

Page 4: 20151013 - Réduire les coûts des tests de performance ?

Test de performance des applications et monitoring en production

Validez la performance en continu pour identifier un problème tôt

Développement Pré-production/QA Production

Test de composants etintégration continue

Test d’une appassemblée

Monitoringproactif

Page 5: 20151013 - Réduire les coûts des tests de performance ?

Test de performance des applications et monitoring en production

En Dev : commencez à tester pour détecter les problèmes plus tôt

o Tester les composants/micro-services pour voir s’ils passent les SLAs

o N’attendez pas d’avoir une interface avant de tester la perf. Testez des API

o Détectez les problèmes de perf plus tôt

o Utilisez les informations de la QA et de la Prodpour corriger les problèmes identifiés

DATA

SERVICES

UI

1

Page 6: 20151013 - Réduire les coûts des tests de performance ?

Test de performance des applications et monitoring en production

Associer le test de perf à l’ intégration continueL’automatisation des tests est une tendance de fond …Mais les tests de perf automatisés restent à la pointe

Comment procéder ?

Page 7: 20151013 - Réduire les coûts des tests de performance ?

Test de performance des applications et monitoring en production

Intégrez la perf dans les spécifications

o Quantifiez les SLAs

o Définissez des SLAs pour le cas général (une page doit se charger en moins d’une seconde) et pour des cas d’usages spécifiques (les résultats de la recherche doivent s’afficher en moins de 2 secondes)

Page 8: 20151013 - Réduire les coûts des tests de performance ?

Test de performance des applications et monitoring en production

Travaillez avec les développeurs pour anticiper les changements

o Communiquez avec les Dev.

o Tenez vous au courant des modifications dans le code

Page 9: 20151013 - Réduire les coûts des tests de performance ?

Test de performance des applications et monitoring en production

Intégrez les tests de perf avec votre serveur de build

o Intégrez la perf comme les autres tests

o Définissez des tests pour chaque phase : smoke tests, unit test, test de régression, test d’intégration

Page 10: 20151013 - Réduire les coûts des tests de performance ?

Test de performance des applications et monitoring en production

Intégration continue + build de nuit + test en charge en fin de cycle

o La nature/complexité des tests évolue

o Commencez avec des tests simples automatisés. En fin de cycle réalisez des tests de charge complets

Page 11: 20151013 - Réduire les coûts des tests de performance ?

Test de performance des applications et monitoring en production

Architecture : Performance tests et Intégration Continue

Le process de build déclenche un test

Build et résultats des tests

Pass / Fail

Commit Changes

Démarrage automatique

de votre build

Développeur

Testeur

SVN

Serveur

D’intégration

continue

Outil de test

Page 12: 20151013 - Réduire les coûts des tests de performance ?

Test de performance des applications et monitoring en production

En phase de Pré-production/QA

o Pourquoi ne pas réutiliser les designs de test de composants réalisés en phase de Dev ?

o L’application va changer plus fréquemment que promis : organisez-vous pour être en mesure de créer facilement et rapidement des scénarios de tests réalistes

o Vous allez découvrir des bugs : comment en rendre compte de manière efficace ? Donnez des information vraiment opérationnelles à vos équipes de Dev.

o Considérez le test en production comme une option « pas si terrifiante » en deuxième étape

APP

2

Page 13: 20151013 - Réduire les coûts des tests de performance ?

Test de performance des applications et monitoring en production

Validez la perf en production

o Maintenir des profils de monitoring à un coût : récupérez les scénarios créés par les équipes de QA.

o Bâtissez une approche durable pour résoudre les problèmes de perf : donnez au Dev et à la QA des informations opérationnelles sur les mesures réalisées en prod.

o Définissez un processus clair pour gérer les problèmes de perf détectés : qui a reçu l’email ?

o Chaque mesure réalisée peu vous épargner un retour de flamme très coûteux.

3

Page 14: 20151013 - Réduire les coûts des tests de performance ?

Test de performance des applications et monitoring en production

Valider la performance en continu n’est-ce pas plus de tests et plus de coûts ?

Page 15: 20151013 - Réduire les coûts des tests de performance ?

Test de performance des applications et monitoring en production

Le type et la complexité des tests évolueCertains tests sont automatisés/automatisables

Automatisation des test

Productivité des outils de test

Page 16: 20151013 - Réduire les coûts des tests de performance ?

Test de performance des applications et monitoring en production

La bataille des coûts se gagne sur la productivités des ressources

56%

34%

coût du test de performance

ressources logiciel

Page 17: 20151013 - Réduire les coûts des tests de performance ?

Test de performance des applications et monitoring en production

Pour gagner cette bataille il faut …

• Pour designer les scénarios rapidement

• Pour maintenir les scénarios de test rapidement

• Pour analyser les résultats rapidement

Des outils rapides

• Qui opèrent nativement avec les serveurs d’intégration continue

• Qui automatisent aux maximum les tâches du design des tests

Des outils agile et

automatisés

Page 18: 20151013 - Réduire les coûts des tests de performance ?

Test de performance des applications et monitoring en production

TCO Métrologie

Sur une organisation qui teste 20 applications/releases par an

Un logiciel pro et productif permet un TCO plus bas qu’un outil open source

Coût du software(licence +maintenance)

Page 19: 20151013 - Réduire les coûts des tests de performance ?

Réduire les coûts des tests de performance ?

Q & A

Hervé SERVY, spécialiste du test de performance

Test et monitoring de perf.