Embed Size (px)
Citation preview
Big Data Symposium Provincie
Big Data – In a Nutshell
Erik van der ZeeGeonovum
@erikvanderzee
1. Big Data introductie
2. Big Data i.r.t. Smart Cities en IoT
3. Big Data “kwesties”
4. Big Data binnen de overheid
5. Platform Making Sense for Society (MS4S)
Inhoud
1. Big Data Introductie
Quiz!• Kilobyte 103
• Megabyte 106
• Gigabyte 109
• Terabyte 1012
• Petabyte 1015
• Exabyte 1018
• Zettabyte 1021
• Yottabyte 1024
• Brontobyte 1027
• Gegobyte 1030 ( = 1.000.000.000.000.000.000.000.000.000.000 byte…)
Quiz
Exponentiele toename hoeveelheid data
Dataficatie van de wereld (“Data Explosie”)
Data Explosie
Belangrijke oorzaak voor data explosie Technologische ontwikkelingen
• Digitalisering van data (geschikt voor processing door computers)
• Miniaturisering Steeds betere en goedkopere hardware
– Toename opslagcapaciteit
– Toename rekenkracht
• Steeds betere en goedkopere Netwerken
– Toename data uitwisseling
• Steeds betere en goedkopere software (algoritmes)
– Toename search en analyse mogelijkheden
Data Explosie - Oorzaken
“Steeds meer” (Kwantitatief)• Steeds meer data creators (mensen + smart things “IoT”)• Steeds meer content soorten (gestructureerd en ongestructureerd)• Steeds meer variabelen (“phenomena”)• Steeds meer delen via social networks (data duplicatie)• Steeds meer bewaren (data, logfiles, “omdat het kan”)• Steeds meer data combineren (“data met data” bvb output GIS analyse)• Steeds meer voorspellen (extrapoleren, model output, scenarios)
Data Explosie - Kwantitatief
“Steeds beter” (Kwalitatief)• Steeds hogere resoluties
– Ruimtelijke resolutie xy(z) – Tijd(sinterval) resolutie van snapshots (“pictures”) naar
continuous streams (“movies”)– Meetspectrum (“banden”) van Multi-spectral naar Hyper-
spectral (“data cubes”)
• Denk bvb Foto’s/Video’s maar ook aan AHN1, AHN2, AHN3, …
Data Explosie - Kwalitatief
Data Explosie - Kwalitatief
GIGApixel video cameras (city-wide surveillance…)
Oke… Dus er is steeds meer data, maar dat leidt nog niet noodzakelijkerwijs tot
veel betere informatie of tot nieuwe inzichten…
Big Data Analyse + Visualisatie nodig
• Analyse van Verleden (historische data) Heden(real-time data) en Toekomst (model output)
Big Data Analyse
• Gestructureerde data vs Ongestructureerde data
• Steeds meer informatie uit ongestructureerde data door slimme algoritmes (tekst / gezicht / object herkenning, ...)
Big Data Analyse
Big Data Visualisatie
• Visualisatie hoort ook bij analyse
• “een kaart meer zegt dan 1000 woorden”
• voor Big Data nieuwe visualisaties, bvb “event tunnels”, dynamische spider diagrammen (grafen) (www.d3js.org)
Analyse Tooling voor Verleden / Heden / Toekomst
• Palantir (veiligheidsdiensten)
• Synerscope (Nederlandse succesvolle start-up)
• BI Tooling (Qlikview, Tableau, …)
• CEP Engines (real-time event processing)
Storage
• MapReduce / Hadoop
• NoSQL Databases (“schema free”)– Graph database (triple stores)
– Column stores
– Document stores(XML, JSON)
– Key-Value stores (hash tables)
– Triple stores (rdf “linked data”)
Big Data Analyse Tools
2. Big data i.r.t. Smart Cities en IoT
Relatie Big data met
• … Internet of Things: Toename # slimme objecten (met sensoren/actuatoren) leidt tot data explosie
• … Smart Cities: Sensing Analysis Acting(processen in steden efficiënter laten verlopen)
• … Open (City) Data: Stimuleert innovatie en eigen initiatief door burgers (“smart citizens”) en bedrijfsleven + Transparantie voorkomt “controlestaat” gevoel in een Smart City
Big Data in relatie tot…
Van City naar Smart City…
SensingAnalysis andPrediction
Act(uat)ingraw events meaningful
events
Waarnemen
(data creatie)
Aansturen / notificeren /
routeren van objecten en
subjecten
Beschikbaarstelling
Open sensor data
Beschikbaarstelling
Analyses
Beschikbaarstelling
Acties
Voorbeeld Sensing Analysis Acting
Smart City voorbeeld
3. Big Data “Kwesties”
Kwesties m.b.t. Big Data
• Visie en Strategie (beleid)
• Architectuur (systeem integratie)
• Kennis en Vaardigheden (opleiding)
• Standaarden (interoperability)
• Open Data vs Privacy (wetgeving)
• Beheer (data kwantiteit en kwaliteit)
• Security (misbruik van data)
Big Data Kwesties
• Verzameling van data vaak gekoppeld aan publieke taken gezondheidsgegevens, verkeersdoorstroming. Vaak ook bijproduct (telecom gegevens)
• Niet alle data mogen zo maar verzameld, bewerkt en verspreid worden
• Rekening houden met Privacy, (Staats)veiligheid, Doelbinding, Bewaartermijnen, en Intellectueel Eigendom Wet en regelgeving loopt vaak
achter de feiten aan
Privacy – “Mag dat allemaal zomaar?”
• Niet het wiel steeds opnieuw uitvinden!
• Interoperability tussen smart initiatieven nodig
• Delen van kennis en best practices
Standaarden – Uitwisseling van Big Data (bvb Sensor data)
Smart City A Smart City B
Standaard APIs
Standaard APIs
4. Big Data en de Overheid
NL Overheid en Big Data
• Rijk– Politie en Inlichtingendiensten– Diverse Landelijke Meetnetten (KNMI, RWS, RIVM, NSO/ESA)
• KNMI Meteorologie, Seismiek
• RWS NDW Netwerk + LM Water + Zwemwater• RIVM LM Lucht, Bodem, Grondwater, Radioactiviteit, Mest, Hemelhelderheid, Geluid (Schiphol)
– Grote admin. gegevensverzamelingen o.a. Belastingdienst, CBS, …– Smart City werkgroepen bij Ministeries (EZ/IenM/…)– ProRail Posities van treinen + dienstregeling– RWS Strategische visie op Big Data
• Waterschappen (meet- en regelsystemen water management)• Provincies (LoRaWAN Groningen, …)• Gemeenten (“Living Labs” in diverse steden, parkeersensoren,
tracking & tracing informatie stad- en streekvervoer, smart bins, …)
• Onderwijs (universiteiten) en onderzoeksinstituten (LOFAR meetnet)
• Geonovum Platform MS4S
Overheid en Big Data
• Voortrekkersrol nemen o.h.g.v. ontwikkeling van smart cities in de provincie
• Sturende en verbindende rol in de regio van diverse SMART initiatieven
– Awareness kweken
– Stimuleren samenwerking binnen provincie en onderling
– Organiseren kennisuitwisseling (voorkomen dat iedere gemeente het wiel aan het uitvinden is)
– Stroomlijnen van initiatieven o.h.g.v. architectuur, standaarden, privacy & ethiek, etc.
Rol van Provincies
5. Platform Making Sense for Society
(een initiatief van Geonovum)
Ambitie Via samenwerking, kennisuitwisseling en afspraken
de toepassing van the Internet of Everything verder brengen
Open platform Professionals uit bedrijfsleven,
kennisinstellingen en overheid (gouden driehoek)
Actiegericht Identificeren van vraagstukken, knelpunten en
innovaties + Werken aan maatschappelijke oplossingen
Resultaten Activiteiten zijn openbaar en vindbaar,
presentaties bij nationale en internationale bijeenkomsten
Platform MS4S
Deelnemende partijen
Ministerie van Economische Zaken
Ministerie van Infrastructuur en Milieu
Rijkswaterstaat
Rijksinstituut voor Volksgezondheid en Milieu
Use case gedreven Living Lab
Cross Cutting Themes dwars op de Use Cases
Case ? –….
Case 6 –
Sustainable cities
indicators
Diverse partijen
Case 4 –
EnergyThingscampus
Wageningen
Wageningen universiteit
Case 2 –
Smart emissions
Gemeente Nijmegen
Case 1 –
Burgerskracht en ouderen
langer zelfstandig
GemeenteZwolle
Case 5 –
Dagje Strand
Gemeente Den Haag
Case 3 –
Living Lab Stratumseind
Eindhoven
Gemeente Eindhoven
Beleidsvraagstukken
Platform (FIWARE)
Standaarden
Privacy & Ethiek
3D sensor data visualisatie
• Learning by doing!
Case “Living Lab Stratumseind” Eindhoven
Stuurgroep (6 meetings) bestaande uit belangrijke founding
partners en sponsoren
Operationale organisatie door Geonovum
– Organiseren plenaire meetings
– Faciliteren van werksessies
– Organiseren eindconferentie
– Organiseren stuurgroep meetings
Organisatie
Boodschappen aan provincies:
1. Visie ontwikkelen (provincies) op Big Data (inspiratie RWS)
gekoppeld aan provinciale thema’s en ambities
2. Inventariseer welke Big Data een provincie heeft en wat je
daarmee zou kunnen doen (“aan de slag” testbeds, pilots
Smart Provincie)
3. Voortrekkersrol nemen o.h.g.v. ontwikkeling van smart
cities in de eigen provincie
4. Kennis delen en ervaring opdoen o.h.g.v. Big Data, Smart
Environments en IoT via Geonovum Platform MS4S
Tot Slot
Colofon
Drs. Erik van der ZeePlatform making sense for society
T +31 (0)20 5711 311M +31 (0) 6 1009 9691E [email protected] www.geonovum.nlT @erikvanderzee
Barchman Wuytierslaan 103818 LH AmersfoortP.O. Box 5083800 AM AmersfoortThe Netherlands
