Spring Batch Avance

SUGF

Spring Batch AvancéMardi 20 Décembre 2011

Spring User Group France

Olivier Bazoud

Julien Jakubowski

SUGF IntervenantsOlivier Bazoud @obazoud, Ekino @3k1n0

ISEN (Toulon)

Architecte technique

Java EE / Spring, Spring Batch, NoSQL, Node.js

Co-auteur de « Spring Batch in Action »

Spring User Group France

Julien Jakubowski, @jak78, OCTO TechnologyISEN (le vrai, de Lille)

Architecte technique

Spécialisé Java EE / Spring

Ch'ti JUG, Agile Tour Lille

SUGF De quoi va-t-on parler ce soir ?

• On va parler de batchs en Java

• … et aussi (un peu) de bière

http://www.flickr.com/photos/fromeyetopixel/2559391584/

• des techniques avancés

SUGF Nos objectifs

En sortant de la salle, vous savez:

Identifier certains problèmes récurrents avec les batchs écrits en Java

Si Spring Batch est utile pour vous (ou pas)

Intégrer les notions principales

Intégrer les notions avancées

Faire un batch « Spring Batch » dès demain

SUGF Ce qui vous attend• Rappel de l’épisode précédent

• Notions avancées – Vote

• Questions / Réponses

SUGF

Concepts de baseRappel de l’épisode précédent (?)

SUGF Batch : de quoi parle-t-on ?

Batch processing = répétition de traitements sur un ensemble de données…


… potentiellement grands volumes…

http://www.flickr.com/photos/claudiasofia99/2878579560/


… sans intervention d’un utilisateur humain – pas d’interface homme-machine


Exemples:• Import flat / XML dans une base de données• Mise à jour de données de référentiel• Intégration de flux financiers dans un SI


Un batch n’est pas un scheduler• Cron, inotify, Quartz, $U…• Mais un scheduler peut le lancer

SUGF Problèmes récurrents• Fiabilité

SUGF Problèmes récurrents• Maintenabilité

SUGF Problèmes récurrents• Réinvention de la roue… carrée

SUGF Quand j’écris un batch

http://www.flickr.com/photos/crystaljingsr/3914729343/sizes/o/in/set-72157622354789320/

Je suis… à poil, non ?

SUGF Solution

Spring Batch offre pourtant une solution pour vous guider lors de l’écriture de vos batchs en Java

SUGF

Spring Batch

Notions de base

SUGF Exemple d’un batch

RecipeStep

InitialStep

InitialTasklet

Chunk oriented tasklet

ItemReader ItemWriterItemProcessor

SUGF Tasklet

• Besoin– Effectuer une tâche unitaire

• Exemples– Unzip d’un fichier– Appel d’une procédure stockée– Appel d’un web service

SUGF ItemReader• Besoin

– Lire le XML de recettes au format BeerXML

• ItemReader– Fournit des items en entrée

<xml>

123;AB;456;CD;

SELECT ... FROM ...

SUGF ItemProcessor• Besoin

– Transforme, valide et / ou filtre une recette

• ItemProcessor– Transforme un item en un autre– Filtrer ou rejeter un item– Emplacement pour les « règles métier »

SUGF ItemWriter• Besoin

– Décharge les bières dans une base SQL

• ItemWriter– Ecrit les items

<xml>

123;AB;456;CD;

INSERT... INTO ...

SUGF Chunk

• Besoin– Lire, transformer et écrire

• Chunk1. Lire et transformer les données successivement

2. Ecrire le lot de données

– Le commit-interval définit la taille du lot– Gestion de la transaction : Commit/Rollback

SUGF Chunk

SUGF Job

• Besoin– Décrire les étapes du batch– Composé d’un ou plusieurs Steps

Spring Tools Suite

SUGF Exemple d’un batch

RecipeStep

InitialStep

InitialTasklet

Chunk oriented tasklet

ItemReader ItemWriterItemProcessor

SUGF Tests

• Tests unitaires facilités via le découpage Spring Batch– writers, processors etc...

• Tests d'intégration facilités par Spring– @RunWith– Step, Job

SUGF Forces et faiblesses

✔Fiabilité et bons patterns✔Tests unitaires et d'intégration, TDD✔ ...the Spring way, intégration à Spring✔Batchs complexes mieux maintenables✔Bénéficie de fonctions avancées à moindre coût✔Productivité, à terme...✗… après avoir payé le ticket d'entrée

SUGFDes questions,avant la suite ?

http://www.flickr.com/photos/crystaljingsr/3914729343/in/set-72157622354789320/

SUGF

Spring BatchAllons plus loin

SUGF Maître détailRecipe

HopHopHop

R;Burton Ale;All Grain;Brad SmithH;Goldings, East Kent;United KingdomH;Northern Brewer;GermanyH;Fuggles;United KingdomENDR;Dry Stout;All Grain;Brad SmithH;Fuggles;United KingdomEND

SUGF Un batch plus robuste reprise sur erreurs

SUGF Flow

Step A

Step B

SUGF Spring Batch Admin

SUGF Scaling et parallélisme


SUGF Spring Batch et Hibernate

SUGF Allons plus loin…

• Un cas un peu plus complexe– maître / détail

• La reprise sur erreurs• Un flow qui n’est pas de bisounours…• Spring Batch Admin (et Monitoring)• Scaling et parallélisme• Spring Batch et Hibernate

SUGF Maître détailRecipe

HopHopHop

R;Burton Ale;All Grain;Brad SmithH;Goldings, East Kent;United KingdomH;Northern Brewer;GermanyH;Fuggles;United KingdomENDR;Dry Stout;All Grain;Brad SmithH;Fuggles;United KingdomEND…

SUGFMaître détail

Déclaration du reader custom

SUGF

R;Burton Ale;All Grain;Brad SmithH;Goldings, East Kent;United KingdomH;Northern Brewer;GermanyH;Fuggles;United KingdomENDR;Dry Stout;All Grain;Brad SmithH;Fuggles;United KingdomEND

SUGFMaître détail

Déclaration du reader délégué

SUGF A retenir

• Implémentation de notre propre reader– Ré-utilisation d’un reader déjà fourni par

Spring Batch– Ré-utilisation de ce que nous avons déjà codé

précédemment

ou• Spring Batch pense à vous

– PatternMatchingCompositeLineTokenizer

SUGF Un batch plus robuste

SUGF Reprise sur erreur

• Un batch plus robuste (tolérant à l’erreur) c’est un batch :– Qui survit à quelques données invalides– Qui survit à une indisponibilité– Qu’on est en mesure de relancer


• Spring Batch out-of-the-box propose:– Sauter les erreurs non bloquantes (skip)– Recommencer un traitement (retry)– Déterminer si le batch est fini (completion)– Redémarrer un batch (restart)


SUGF Reprise sur erreur: Skip

• Ne pas arrêter le batch si la lecture/process/écriture échoue

• Personnaliser les cas de « skip »• Ecouter les cas de « skip »

0001;ABC;DEF;0002;ABC;DEF;000zxjgxdjghjsdfkud0004;ABC;DEF;


– Si FlatFileException, Spring Batch skip l’item– Skip de 10 items max– Au-delà la step « failed »– Include/Exclude possible


• Personnaliser la gestion du « skip »• Par défaut: LimitCheckingItemSkipPolicy


• Configuration de la gestion du « skip »


• Un listener permet de traiter les items écartés

• Les annotations existent aussi– @OnSkipInRead– @OnSkipInWrite– @OnSkipInProcess

SUGF Reprise sur erreur: Retry


• Permet de relancer une opération si indispo temporaire

• Personnaliser les cas de « retry »• Ecouter les cas de « retry »


– Si DLDAE, Spring Batch recommence– Retry 3 fois max– Au-delà la step « failed »– Includes/Excludes possible


• Personnaliser le « retry »: RetryPolicy– SimpleRetryPolicy (défaut)

• Stratégie entre 2 « retry »: BackoffPolicy– NoBackOffPolicy (défaut)– ExponentialBackOffPolicy vraiment utile


• Configuration de la gestion du « retry »


• Un listener permet de traiter les « retry »


• Pour les tasklets– RetryTemplate– RetryOperationsInterceptor avec de l’AOP

SUGF Reprise sur erreur: Restart


• Même avec skip/retry, un batch peut planter

• Il reste encore une solution • Nous pouvons redémarrer le batch


• Indique si le job est « restartable »

• Indique le nombre max de « restart »


• La step est démarrée lors du restart même si elle a été terminée correctement


• Comment reprendre en plein milieu d’un chunk ?

• Comment Spring Batch sait il où reprend ?


• Spring batch stocke des méta data


• Spring Batch persiste régulièrement les « ExecutionContext »

• Ceci permet à Spring Batch de savoir où reprendre

• C’est ce qui fait qu’un batch est « restartable »


• Si vous voulez que vos Reader/Writer custom soient restartables, vous devez les concevoir restartables!

• Certains fournis par Spring Batch le sont, mais pas tous

• Ce n’est pas toujours possible – ex: Writer JMS.


• ItemStream

SUGF Reprise sur erreur: Restart• Exemple de Reader « restartable »

SUGF Reprise sur erreurConclusion

• Nous avons appris comment:– Ecarter des items défectueux (skip)– Recommencer une step s’il y a une erreur

temporaire (retry)– Implémenter notre propre stratégie de

« skip » et « retry »– Redémarrer un job avec certains steps

SUGF Gestion du flow


Le « batch bisounours »

Step A

Step B


Exemple


Exemple

SUGF Gestion du flow• Le « batch complexe»

Step

Step

Step

Step

Step

Step

Step

Step

Step


• Comment…– faire des flows non linéaires– piloter l’enchaînement des steps– passer des données entre steps


• Exemple plus simple ;)

StepA

StepB

StepAlertFAILED

*



• Batch Status– Etat du job / step en cours d’exécution

• Exit Status– Etat du job ou step après son exécution– C’est lui qui détermine le flow

• Exemple– COMPLETED, STARTING, STARTED,

STOPPING, STOPPED, FAILED,ABANDONED or UNKNOWN

– C?T (CAT mais pas COUNT), C*T (CAT et COUNT)


• Créer et utiliser ses propres « exit status » – StepExecutionListener– JobDecider


• Utiliser ses propres « exit status »

StepA

StepB

StepC

COMPLETED WITH SKIPS

*


• « exit status » + StepExecutionListener

SUGF Gestion du flow• Configuration


• « exit status » + JobExecutionDecider



• « StepExecutionListener » ou « JobExecutionDecider » ?

• JobExecutionDecider pour réutiliser plus facilement la logique de branchement


• Encore plus de contrôle: end, fail


• Partager des informations entre les steps– À la Spring:bean classic– A la Spring Batch: « Execution context »

• 1 pour le Job et 1 par Step• C’est une Map sauvegardé dans les meta data• Attention au volume• Late bindings

– #{jobExecutionContext[‘myKey']}


• Accès à ExecutionContext


• Configuration


• Mutualiser les flowsStep A

Step B

Step C

Step D

MonFlow


SUGF Gestion du flow• Réutiliser un Job


• Conclusion, nous avons– Fait des flows non linéaires– Piloté l’enchaînement des steps– Passé des données entre steps– Mutualisé et réutilisé des jobs


• Console Web pour Spring Batch– « Standalone » ou « Embedded »– API Rest– Uploader une nouvelle configuration– Uploader un fichier à traiter

• « Customisable »– Base de données, Branding, UI, ..

• Monitorer les batchs


• API REST


$ curl –s http://localhost:8080/spring-batch-admin-sample/jobs.json

{ "jobs": { "resource": "http://localhost:8080/spring-batch-admin-sample/jobs.json", "registrations": { "infinite": { "name": "infinite", "resource": "http://localhost:8080/spring-batch-admin-sample/jobs/infinite.json", "description": "No description", "executionCount": 0, "launchable": true, "incrementable": false }, "job1": { "name": "job1", "resource": "http://localhost:8080/spring-batch-admin-sample/jobs/job1.json", "description": "No description", "executionCount": 0, "launchable": true, "incrementable": true …


• Les jobs


• Lancement / Historique d’un job


• Lancer un job


• Détail d’un job execution

SUGF

Spring Batch Admin• Détail d’éxécution

SUGF Spring Batch Admin / Monitoring

• JMX / MBean– BatchMBeanExporter

• Exporter un jobService• Voir les métriques des « Job/Steps Executions »

– SLA StepExecutionServiceLevelMonitor• Permet de recevoir des notifications JMX si une

Step met trop de temps

• Utilisable aussi en Standalone




• Conclusion, nous avons aborder– Les principaux écrans de « Spring Batch

Admin »– L’API Rest– Le monitoring par JMX

SUGF Scaling


SUGF Scaling

SUGF Scaling

• Différentes stratégies possibles– Multi-threaded Step (single process)– Parallel Steps (single process)– Remote Chunking of Step (multi process)– Partitioning a Step (single or multi process)

SUGF Scaling

• Multi-threaded Step– Une Step est multi threaded

• Parallel Steps– Les Steps sont exécutées en parallèle

• Remote Chunking of Step– Distribution des chunks

• Partitioning a Step– Partage les données à travers les noeuds

SUGF Scaling: Multi-threaded Step

– Multi thread au niveau « Step »– Utilise un ThreadPoolTaskExecutor– Chaque thread construit un chunk– Les readers/writers sont thread-safe ?

• La plus part non! ils sont stateful

– « Process Indicator Pattern »• Lire les items ‘processed’ = false• Un ItemProcessor met ‘processed = true’

SUGF Scaling: Multi-threaded Step

SUGF Scaling: Step en parallèle

• Executer plusieurs Step en parallèle• Mot clé « split » dans la configuration• Possibilité utiliser un

ThreadPoolTaskExecutor

SUGF Scaling: Step en parallèle

SUGF Scaling: Remote Chunking

• Répartition de la charge vers des slaves– Lecture sur le Master– Processor et Writer sur les slaves

• Spring Batch propose des interfaces/classes

• Spring Integration propose une implementation

• La relation master/slave : MOM– ActiveMQ, RabbitMQ, …

SUGF Scaling: Remote Chunking Master

Slave 1

ChunkProcessor

Writer

ChunkProcessor

Reader

ChunkProvider

Slave 2

ChunkProcessor

Writer

Slave N

ChunkProcessor

Writer

SUGF Scaling: Remote Chunking

• Démo ?!

SUGF Scaling: Partitioning

• Répartir les données suivant une clé de partition– « Partitionner »

• Traiter les données– « PartitionHandler »

• Et vous pouvez combiner les techniques précédentes

SUGF Scaling: Partitioning

SUGF Scaling

• Conclusion, nous avons aborder– Les stratégies possibles– La démo « Remote Chunking of Step »



• Les raisons– code existant– rapidité de développement (les premiers 80%)

• Ca ne se fait pas sans dangers…


• Votre mapping Hibernate est il fait pour du batch ?– Ai-je besoin de tous les fetchs ?!– Select N+1 ?!

• Overhead de Hibernate sur JDBC


• Hibernate est stateful (par défaut)– 1M d’items lus = 1M en RAM OutOfMemoryError

• Utiliser HibernateCursorItemReader– 1 requête HQL– Session stateless


• Pattern: « Driving Query Based ItemReaders »

• Certaines bases de données (ex: DB2)– Pessimitic looking– Ouverture de curseurs sur des données

importantes• Bonne pratique avec Hibernate• Prévient les LazyException


• Principe– L’ItemReader lit les « id » via SQL

• Select id from XXX where …

– Le premier ItemProcessor transforme l’id en objet via Hibernate par exemple

– Les autres processors font les traitements métiers

– …

SUGF Questions ?

http://www.flickr.com/photos/crystaljingsr/3914729343/in/set-72157622354789320/

SUGF Quizz

SUGF Spring Batch in Action

http://www.manning.com/templier

SUGF Ekino / @3k1n0• Conception, développement et

maintenance de dispositifs digitaux• 150 personnes

– 50% de développeurs, 0% de régie• Digital

– Mobile + HTML + RIA– JAVA + PHP + .NET

• 6 pôles de compétences, 25 clients, 50 projets/an = 1 équipe

SUGF Quizz 1

Ce que n'est pas Spring Batch ?

1. un framework orienté batchs

2. un scheduler

3. un framework open source

SUGF Quizz 2

Qui est le principal leader du projet Spring Batch ?

1. Antonio Goncalves

2. Obi-wan Kenobi

3. Dave Syer

SUGF Quizz 3

Comment s'appelle la console d’admin de Spring Batch ?

1. Coldfusion Web Console

2. Spring Batch Admin

3. PlayScalaInCloud

SUGF Quizz 4

Quel est l’objet qui n’existe pas en « Spring Batch » ?

1. ItemReader

2. ItemWriter

3. ItemBien

SUGF Quizz 5

Qui vous offre un exemplaire de « Spring Batch in Action »?

1. Sais pas, je viens de me réveiller

2. Ekino

3. Le père Noël

SUGF Liens• Spring User Group Paris

– http://groups.google.fr/group/sugfr

• Le code de la présentation– https://github.com/obazoud/spring-batch-sug

• Spring Batch 2.1.x– http://static.springsource.org/spring-batch

• Articles sur le web– http://www.theserverside.com/news/1363855/Spring-Batch-Overview– http://www.infoq.com/presentations/syer-introducing-spring-batch– http://blog.zenika.com/index.php?post/2010/03/05/To-batch-or-not-to-

batch– http://blog.octo.com/spring-batch-par-quel-bout-le-prendre/

SUGF ROTI

http://www.flickr.com/photos/34943981@N00/202923614/

SUGF Session « Spring Batch Avancé»

• Ekino– http://www.ekino.com / @3k1n0– Olivier Bazoud / @obazoud

• Octo Technology– http://www.octo.com / @ OCTOTechnology– Julien Jakubowski / @jak78

Documents

Spring Batch Avance