Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
1
Performancetestrapport
ManagedDigikoppelingCloud
Performance testrapport ManagedDigikoppelingCloud
Organisatie :YenloCloudServicesB.V.
Adres :Rijndijk137,2394AGHazerswoude-Rijndijk
Gegevens :ThijsVolders
Datum :8Oktober2015
Versie :1.1
Status :Definitief
2
Performancetestrapport
ManagedDigikoppelingCloud
1 InhoudsopgaveDitdocumentbevatdevolgendehoofdstukken,paragrafen.
1 Inhoudsopgave.................................................................................................................................22 Inleiding............................................................................................................................................33 Managementsamenvatting..............................................................................................................44 Testopzet..........................................................................................................................................5
4.1 Testopstelling............................................................................................................................54.2 Uitvoering.................................................................................................................................64.3 Loadprofiel...............................................................................................................................64.4 Scenario’spertestonderdeel....................................................................................................7
4.4.1 Loadtestnominalebelasting..............................................................................................74.4.2 Loadtestpiekbelasting......................................................................................................7
5 Testresultaten..................................................................................................................................85.1 Definities...................................................................................................................................85.2 Meetresultaten:Loadtestnominalebelasting..........................................................................8
5.2.1 Opsomming.......................................................................................................................85.2.2 Distributie..........................................................................................................................85.2.3 Systeemgedraging.............................................................................................................9
5.3 Meetresultaten:Loadtestpiekbelasting................................................................................115.3.1 Opsomming.....................................................................................................................115.3.2 Distributie........................................................................................................................115.3.3 Systeemgedraging...........................................................................................................12
6 Conclusies.......................................................................................................................................14
3
Performancetestrapport
ManagedDigikoppelingCloud
2 InleidingYenloisin2012begonnenmethetontwikkelenvanondersteuningvoorhetDigikoppelingebMS/WUSprotocolvoorhetWSO2EnterpriseServiceBuscomponent.DeimplementatievandezeebMS/WUSadapterheeftinmiddelsversie1.3.6bereiktwaarbijonderanderedebeveiligingsprofielenvandeDigikoppelingebMS/WUSkoppelvlakstandaardv2.0zijntoegevoegdaandefunctionaliteitenvandemodule.
DeYenloebMS/WUSadapterisontwikkeldalseenextensievoorhetEnterpriseServiceBuscomponentvanWSO2.
Terondersteuningvandereleasevanversie1.3.6vandeYenloebMS/WUSadapterisditperformancerapportsamengesteld.
Hetdoelvanditrapportishetverkrijgenvaninzichtindegedragingenvandeadapter,hetonderliggendeWSO2ESBproductenookdehardwarewaaropdezecomponentendraaien.
HetdoelvanhettesttrajectishetbepalenofdeebMS/WUSmodule(incombinatiemetdeWSO2ESB,dedatabaseendehardware)voldoendepresteertomeenbepaaldeloadsuccesvoltekunnenverwerken.
Eensuccesvolletestmoetvoldoenaandevolgendeeisen:
1. AlleberichtenwordencorrectontvangendoordeebMS/WUSmodule,dezeberichtenwordenopgeslagenindeebMS/WUSdatabase;
1. Deresponsetijdvanhetontvangenvanberichtenmoetminderdan2secondenbedragen;2. Hetgeheugengebruikvandetestopstellingblijftstabiel;3. HetCPUgebruikvandetestopstellingblijftstabiel.
DeperformancetestisuitgevoerdopeentestopstellingvanYenlo.DezetestopstellingisgelijkaaneenvereenvoudigdeopstellingvandeManagedDigikoppelingCloud(MDC).Dekeuzeomdetestopeenenkeleserveruittevoeren,zorgtervoordateventueleproblemeninhetMDC-clusternietdirecttothinderlijkperformanceverlieslijdenvoordeeindgebruikers.
4
Performancetestrapport
ManagedDigikoppelingCloud
3 ManagementsamenvattingDitdocumentgeeftinzichtindepresentatiesvandeYenloebMS/WUSadapter.Intweehoofdstukkenwordtuiteengezethoedeadapterzichgedraagtondernominale-enpiek-belasting.
Tijdensdenominalebelastingtestwordtuitgegaanvan20parallelleberichtstromenmetelkeenberichtenbelastingvan10berichtenperseconde.Ditstaatgelijkaaneenjaarlijkseberichtenlastvanongeveer4miljardberichten,uitgaandevan260werkdagen.
Tijdensdepiekbelastingtestwordtuitgegaanvan20parallelleberichtstromenmetelkeenberichtenbelastingvan25berichtenperseconde.Ditstaatgelijkaaneenjaarlijkseberichtenlastvanongeveer11miljardberichten,uitgaandevan260werkdagen.
Denominale-enpiektestresultatenzijnalsvolgtsamentevatten:
• Ondernominalebelastingisdegemiddelderesponsetijdperberichtop118milliseconde.• Onderpiekbelastingblijfthetsysteeminbedrijf.Berichtenwordenweliswaarlangzamer
verwerktmaarhetsysteemblijftgecontroleerdberichtenverwerken.
Detestopstellingdiehierisgebruiktiseenvoudig.ManagedDigikoppelingCloud(MDC)bevatkrachtigehardwareenomvatonderandereeengeclusterdesetupvandeWSO2ESBinclusiefebMS/WUSadapter.Detestisuitgevoerdopéénenkelemachine.MenmagdanookverwachtendatdeprestatiesvandeMDCbeterzijndanzijnwaargenomenopdevoordezetestgehanteerdetestopstelling.
5
Performancetestrapport
ManagedDigikoppelingCloud
4 Testopzet
4.1 TestopstellingDeTESTopstellingisdoorYenlogeïnstalleerdengeconfigureerdconformdestandaardinstallatiehandleidingenvanYenlovoorMDC.DeTESTomgevingdraaitinéénvandedatacentravanYenlo.
DeeigenschappenvandezeTESTomgevingwordenhieronderuiteengezetalsmedederelevanteaanpassingenaandestandaardinstallatievanhetbesturingssysteemendeJVM’s(JavaVirtualMachines).
Hardware
Eigenschap Waarde
Processor Intel(R)Xeon(R)[email protected]
Besturingsysteemgeheugen 64GB
Harddiskruimte 1TB
Software
Eigenschap Versie Geheugen(inGBs)
MySQL 5.5 12
WSO2EnterpriseServicebus(ESB) 4.8.1 1
WSO2GovernanceRegistry(GR) 4.5.2 0.5
WSO2BusinessActivityMonitoring(BAM) 2.0.1 1
WSO2APIManager 1.3.0 0.5
DeWSO2ESBopdeTESTomgevingisgekoppeldaaneenWSO2GRdiedraaitopdezelfdeTESTomgeving.DeWSO2ESBisnietgeclusterd.OpdeTESTomgevingdraaitookeenWSO2BAMinstallatieeneenWSO2AMinstallatie.Intotaaldraaienerdaarmee4JVM’s.BelangrijktevermeldenisdatvoordeJVMvandeESBeenheapsizevan4GBistoegewezen.
MetdezeperformancetestwordtenkeldeperformancevandeebMSmodulezelfgetest.DoordatmetdeebMSping/pongfunctionaliteitwordtgetestwordteenachterliggendeservicenietmeegenomenindeperformancemetingen.
6
Performancetestrapport
ManagedDigikoppelingCloud
4.2 UitvoeringVoorhetstartenendraaienvandeperformancetests(declient)wordtgebruikgemaaktvaneenstandaardlaptopvanuitdeYenlokantooromgeving.HierbijisgeverifieerddatdeloaddiewordtaangebrachtopdeTESTomgevingnietwordtbeperktdoordecapaciteitvandelaptop.
4.3 LoadprofielHetloadprofielbeschrijfthetsamenlopenvanberichten(concurrency)enhettegenererentransactievolumepertijdseenheid.
Erisrekeninggehoudenmetdevolgendeaannamesomtrentdeverdelingvanhetberichtenverkeer:
• 260werkdagenperjaar• 24urenperdagwaarvaner10alsbedrijfsurenwordengehanteerd.• 20ebMS/WUSberichtstromen.• Gemiddeldaantalberichtenperberichtstroomis5perseconde.
DeperformancevandeebMS/WUSmodulewordtgetestdoormiddelvandePING/PONGfunctionaliteitdieindeebMS/WUSspecificatiestandaardaanwezigis.DewerkingvandePING/PONGtransactiezieterschematischalsvolgtuit.
DeebMS/WUSadapterbehandeldeenPingberichtzoalseenbedrijfsberichtookbehandeldzouworden.Hetafhandelenvaneenberichtdoorlooptdevolgendestappen:
- Berichtwordtstructureelgevalideerd;voldoethetaandeebMS/WUSspecificaties- Berichtwordtinhoudelijkgecontroleerd;o.a.isdeCPA,serviceenactioncombinatiebekent
binnendezeebMS/WUSadapter- BerichtwordtopgeslagenindeebMS/WUSdatabase- (ingevalvanPing/Pong)PongberichtwordtdoordeebMS/WUSadaptersamengesteld;In
gevalvaneenbedrijfsberichtzaleenachterliggendproceshetberichtontvangenter
7
Performancetestrapport
ManagedDigikoppelingCloud
verwerking.DeebMS/WUSadapterontvangtvanhetachterliggendeproceshetantwoordbericht.
- Pongberichtwordtopgeslagenomverzondenteworden.- Pongberichtwordtverzonden.
DetijdtotdathetPONGantwoordberichtwordtontvangenisnietonderdeelvandetest,vanwegehetasynchronekaraktervandeebMS/WUSadapter.Echter,erwordtwelgeverifieerdofhetPongantwoordberichtdaadwerkelijkverstuurdwordt,waarmeedestabiliteitvandeomgevingwordtgegarandeerd.
4.4 Scenario’spertestonderdeel
4.4.1 LoadtestnominalebelastingInditscenariowordtdenominalebelastinggetestopbasisvandekengetallenomtrentvolumeuitdevorigeparagraaf.
Zoalsaangegevenishetuitgangspunt20berichtstromendieelk10berichtenpersecondeverwerken.Ditkomtneeropeentotaleberichtenstroomvan200berichtenperseconde(20stromen*10berichten).
Omgerekendnaarjaaraantallenbetekentdit:260werkdagen*24uur*60minuten*200=ongeveer4miljardberichtenperjaar.
DeperformancetestapplicatieJMeterisingesteldomgedurende1minuuthetaantalberichtenpersecondeoptebouwennaar200berichtenperseconde.Deloadwordtgedurende30minuteninstandgehouden.
4.4.2 LoadtestpiekbelastingInditscenariowordthetgedragvaneenpiekbelastinggetest.Depiekbelastingdievoordezeperformancetestisgehanteerdisvijfvoudigtenopzichtevandenominalebelasting.
Ditbetekentdateenbelastingwordtgesimuleerdwaarbijop20berichtstromenelk25berichtenpersecondewordenverstuurd.
Omgerekendnaarjaaraantallenbetekentdit:260werkdagen*24uur*60minuten*60seconden*500=ongeveer11miljardberichtenperjaar.
VoordezetestisJMeteringesteldomgedurende1minuuthetaantalberichtenpersecondeteverhogennaar500berichtenperseconde.Dezeloadwordtgedurende30minuteninstandgehoudenindiendeoverigeeisennietoverschredenworden.
Hetdoelvandepiekbelastingtestisvaststellenofhetsystemovereindblijfttijdensdepiekbelasting.DeYenloebMS/WUSadapterenhetplatformwaarophetdraaitwordtveelalingezetineenhoog-beschikbareomgeving.Hetisdaaromzeerwenselijkdathetsystemeenzohoogmogelijkebelastingaankanzonderdathetfaalt.Dezetestmoetaantonendathetsysteemomkangaanmetdezepiekbelastingzonderdathetfaaltofuitvalt.
8
Performancetestrapport
ManagedDigikoppelingCloud
5 TestresultatenIndithoofdstukstaatpertestscenariodemeetgegevensmetbetrekkingtotderesponsiviteitgepresenteerdindevormvanmeetresultatentabellenengrafieken.
HetisbelangrijkomindeinterpretatievandemeetresultatenmeetewegendatdeTESTomgevingveelminderkrachtigisdanbijvoorbeelddeMDC.MDCiseensysteemmetkrachtigereprocessoren,meergeheugenéndezeisdubbeluitgevoerdmeteenloadbalancerervoor.MDCzaldaaromeenveelhogerebelastingkunnenverwerkendandeTESTomgeving.
5.1 DefinitiesTerm Omschrijving
Min Dekortstwaargenomenresponstijd(milliseconden)
Gem Hetgemiddeldevandewaargenomenresponstijden(milliseconden)
Max Delangstwaargenomenresponstijd(milliseconden)
90% Het90percentielgeeftaandat90procentvanallewaarnemingenonderdevermelderesponstijdblijft.Dezemetriekwordtgebruiktomstatistischuiterstlangeresponstijdwaarnemingentefilteren.
Error% Hetpercentagevantransactiesdatnietsuccesvolverwerktis
5.2 Meetresultaten:Loadtestnominalebelasting
5.2.1 OpsommingGedurendedeloadtestzijngegevensverzameldoveronderanderedeminimale,maximaleengemiddelderesponsetijden.Dezegegevenslatenziendathetsysteemdeberichtenverwerkingbinnengesteldegrenzenaankan.
Test Min Gem Max 90% Error%
Nominalebelasting 48 118 1333 99 0
5.2.2 DistributieInonderstaandegrafiekisdedistributievanderesponsetijdenweergegeven.Eendergelijkegrafiekbehoorteenrustigbeeldtelatenzienindevormvaneennormaleverdeling.Ditgeeftaandathetsysteeminstaatisomdecontinueberichtenstroomgecontroleerdteverwerken.Indiendegrafiekgrilligvanaardisdangeeftditaandathetsysteemnietinstaatisomefficiëntengecontroleerdeenberichtenstroomteverwerken.
9
Performancetestrapport
ManagedDigikoppelingCloud
Figuur1Responsetijddistributie-nominaal
5.2.3 SysteemgedragingNietalleendesnelheidvanberichtenverwerkingisinteressantingevalvaneenperformancetest.Ookhetgedragvanhetonderliggendehardwaregeefteenbeeldvandewijzeenbetrouwbaarheidvandemeeting.
TestsuiteInonderstaandegrafiekwordtdeloadgetoondwelkedoorJMeterophetsysteemwordtuitgevoerd,detestbegintmet50berichtenpersecondeenwordtinstappenvan50verhoogttot200berichtenperseconde.DegrafiektoontaandathetMDCsysteemdeberichtensuccesvolverwerkt,onafhankelijkvanbelasting.
FiguurTestsuite-nominaal
10
Performancetestrapport
ManagedDigikoppelingCloud
ProcessorInonderstaandegrafiekwordtgetoondhoedeprocessorvanhetsysteemzichgedraagttijdensdetest.Degrafieklaatziendathetsysteemdegebodenloadeenvoudigaankan.Degemiddeldebelastingvandeprocessorbegeeftzichrond65%wateenacceptabelwaardeisvoordezetest.
Figuur2Processorbelasting-nominaal
GeheugenNaastdeprocessorisookhetgeheugengebruikeenindicatorvoordestabiliteitvanhetsysteem.Geheugengebruikbehoorteengrilligpatroontetonen.Hetsysteemruimtimmersveelgegevenscontinuop.Alshetsysteemdegegevensnietkanopruimenzaldegrafiekeenglooiender/vlakkerpatroontonen.
AangezienWSO2(endaarmeeeveneensdeYenloebMS/WUSadapter)ineenJVMdraaienishetgeheugengebruikvandeJVMtijdensdezetestinteressant.DeJVMkanimmersnietmeergeheugengebruikendanisgeconfigureerdtijdenshetopstartenvandeWSO2ESB.
Figuur3GeheugengebruikWSO2-nominaal
Hetgeelgemarkeerdevlakgeeftaanhoeveelgeheugenerisgereserveerdvoorapplicaties.Hetblauwevlakgeeftaanhoeveelgeheugendeapplicatiedaadwerkelijkgebruikt.Debovengrensvandegrafiekgeeftaanhoeveelgeheugenermaximaalgereserveerdkanworden.
Indegrafiekisteziendatdeapplicatieruimschootsmindergeheugengebruiktdanhetmaximaalbeschikbaregeheugen.
11
Performancetestrapport
ManagedDigikoppelingCloud
5.3 Meetresultaten:Loadtestpiekbelasting
5.3.1 OpsommingGedurendedepiekbelastingtestzijngegevensverzameldoveronderanderedeminimale,maximaleengemiddelderesponsetijden.Inonderstaandetabelisteziendattenopzichtvandenominalebelastingdecijfershogerzijn.
Test Min Gem Max 90% Error%
Nominalebelasting 48 3649 9408 6210 0
Degrenswaardenvandemaximalereponsetijdperberichtistijdensdezepiekbelastingtestoverschreden.Ookisechterteziendatondanksdeoverschrijdingvandemaximaleresponsetijd,van2secondenperbericht,hetsysteemnogsteedsinstaatisberichtenteverwerken.Hetverschiltussendemaximaleresponsetijdende90%percentiellaatziendathetsysteeminstaatisomberichtenteverwerken.Het90%percentielisimmerslagerdandemaximaalgemetenresponsetijd.
5.3.2 DistributieInonderstaandegrafiekisdedistributievanderesponsetijdenweergegeven.Eendergelijkegrafiekbehoorteenrustigbeeldtelatenzienindevormvaneennormaleverdeling.Ditgeeftaandathetsysteeminstaatisomdecontinueberichtenstroomgecontroleerdteverwerken.Indiendegrafiekgrilligvanaardisdangeeftditaandathetsysteemnietinstaatisomefficiëntengecontroleerdeenberichtenstroomteverwerken.
Figuur4Responsetijddistributie-piek
Bovenstaandegrafieklaatziendathetsysteemmoeiteheeftmethetverwerkenvanberichten.Deresponsetijdenzijnerguiteenlopend.
12
Performancetestrapport
ManagedDigikoppelingCloud
5.3.3 SysteemgedragingIngevalvaneenpiekbelastingtestisdegedragingvanhetonderliggendesysteeminteressant.Hieruitkannamelijkblijkenofdebottle-neckzichopbesturingsniveauofinsoftware-configuratiebevindt.
TestsuiteInonderstaandegrafiekwordtdeloadgetoondwelkedoorJMeterophetsysteemwordtuitgevoerd,detestbegintmet100berichtenpersecondeenwordtinstappenvan100verhoogttot500berichtenperseconde.DegrafiektoontaandathetMDCsysteemdeberichtensuccesvolverwerkt,onafhankelijkvanbelasting.
Figuur5Testsuite-piek
ProcessorInonderstaandegrafiekwordtgetoondhoedeprocessorvanhetsysteemzichgedraagttijdensdetest.Degrafieklaatziendathetsysteemdegebodenloadaankan.Degemiddeldebelastingvandeprocessorbegeeftzichrond65%wateenacceptabelewaardeisvoordezetest.
OmdaternueenpiekbelastingtestisuitgevoerdkanwordengeconcludeerddatmettuningvanparametersvanWSO2mogelijknogmeerperformanceuithetsysteemgehaaldkanworden.Tijdenseenpiekbelastingiseenprocessorbelastingvan90%acceptabel.
Figuur6Processorbelasting-piek
13
Performancetestrapport
ManagedDigikoppelingCloud
GeheugenNaastdeprocessorisookhetgeheugengebruikeenindicatorvoordestabiliteitvanhetsysteem.Geheugengebruikbehoorteengrilligpatroontetonen.Hetsysteemruimtimmersveelgegevenscontinuop.Alshetsysteemdegegevensnietkanopruimenzaldegrafiekeenglooiender/vlakkerpatroontonen.
AangezienWSO2(endaarmeeeveneensdeYenloebMS/WUSadapter)ineenJVMdraaienishetgeheugengebruikvandeJVMtijdensdezetestinteressant.DeJVMkanimmersnietmeergeheugengebruikendanisgeconfigureerdtijdenshetopstartenvandeWSO2ESB.
Figuur7GeheugengebruikWSO2-piek
InbovenstaandegrafiekgeeftdebovengrensaanhoeveelgeheugenermaximaalgereserveerdkanwordendoorapplicatiesbinnendeJVM.Hetgelevlakgeeftaanhoeveelgeheugenergereserveerdvoorapplicatieenhetblauwevlakgeeftaanhoeveelgeheugeneringebruikis.
Zoalstezienisinbovenstaandefiguurgebruiktdeapplicatieruimschootsmindergeheugendandaterbeschikbaarisbinnendegrenzenvanhetsysteem.Erisduidelijkteziendathetsysteemhetdrukkerhefthetgeheugenopteschonen.Erzijnimmersvelepiekenendalentezien.
Uitdezegrafiekblijktdatookonderdegebodenpiekbelastinghetsysteemnogwerkt.
14
Performancetestrapport
ManagedDigikoppelingCloud
6 ConclusiesDitdocumentbeschrijftdeperformancetestwelkeisuitgevoerdtegenversie1.3.6vandeYenloebMS/WUSadapter.
IntweehoofdstukkenwordtgetoondhoedeebMS/WUSadapter(endeWSO2Enterpriseservicebus)presterenondereennominale-enpiekbelasting.
Hetdoelvaneennominalebelastingtestishetgevenvaninzichtindegemiddelderesponsetijdophetbehandelenvanberichten.
Hetdoelvaneenpiekbelastingtestishetgevenvaninzichtinhetbeschikbaareninbedrijfblijvenvanhetsysteemonderhogebelasting.
Opbasisvandetestendiezijnuitgevoerdkanwordengeconcludeerddat,zelfsmetdeeenvoudigetestopstellingwelktijdensdetestgebruiktis,deebMS/WUSadapteruitstekendpresteert.Tijdensnominalebelastingisdegemiddelderesponsetijd118millisecondeperbericht.Onderpiekbelastinglooptdegemiddelderesponsetijdopmaarhetsysteemblijftbeschikbaaronderdegebodenpiekbelasting.
DetestopstellingdievoordezetestisgehanteerdiseenvoudigerdanhetgeenYenloaanbiedindevormvandeManagedDigikoppelingCloud(MDC).MDCiseendubbeluitgevoerdsysteemenbezitmeerprocessorengeheugencapaciteit.DoordatloadbalancingenclusteringtoegepastwordtkanmenervanuitgaandatmeteenMDCoplossingdeprestatiesvandeebMS/WUSadaptermeermalenbeterzullenzijn.