Embed Size (px)
Citation preview
Real-Time IoT Big Data Analytics Platform& BI Use Cases
Real-Time IoT Big Data Analytics Platform& BI Use Cases
2015. 4. 3
파스트림코리아
Strong IoT momentum with CEO’s & CIO’s
2015 Tech Predictions1. Digital transformation2. Internet of Things3. Convergence of big data with consumer data4. Hybrid cloud5. Collaboration6. Predictive analytics will lead big data7. Mobile wearable technology8. A Platform and orchestration is needed9. Networked Economy10. The end of apps
2
Predictions 2015IoT software platforms will become the rage in 2015 and drive IoT Adoption
Top 10 Strategic Technology Trends for 20151. Computing Everywhere2. Internet of Things3. 3-D Printing4. Advance, Pervasive Analytics5. Context-Rich Systems6. Smart Machines7. Cloud Computing8. Software Defined Infrastructure9. Web-scale IT10. Risk-Based Security
1. Digital transformation2. Internet of Things3. Convergence of big data with consumer data4. Hybrid cloud5. Collaboration6. Predictive analytics will lead big data7. Mobile wearable technology8. A Platform and orchestration is needed9. Networked Economy10. The end of apps
Analytics drives business value in IoT
“The value of IoT is in the data. The quicker enterprises can start analyzing their data, the more business value they can derive.”June 2014
Analytics have been transformative in wide areas of customer and product service. Sensor enabled industrial analytic applications are the next frontierJuly 2014
3
“The value of IoT is in the data. The quicker enterprises can start analyzing their data, the more business value they can derive.”June 2014
Data
실시간 데이터 적재 + 즉각적 조회
= 적기에 실행 가능한 통찰력
Action
Devices
Devices
Devices
Rules or On-demand Insights
Aggre
gat
ion
Real-Time Needs Everywhere“85% of respondents say the issue is not about volume but the ability to analyse and act on the data in real time”
4Source: Cap Gemini Study “The Deciding Factor: Big Data & Decision Making”
IoT 프로젝트의 목표 IoT 솔루션의 적용대상
5
IoT 프로젝트의 어느 측면이 가장 문제가 되고 있나
6
데이터 문제로 인하여 IoT는 잠재력을 최대로 제공하지 못하고 있다
7
IoT 프로젝트의 데이터 수집과 분석에서 겪는 문제들
8
1주 이상 보관: 89%
9
더 나은 데이터 수집과 분석은 더 많은 가치를 제공
Industrial IoT - 5 Leading Application/Benefitü Operational efficiency
• From waste management to semiconductor fabrication, being able to run any process with reduced operational expense by driving out inefficiencies and maximizing utility of resources is a key benefit of connectivity, sensors, and analytics.
ü Preventative maintenance• Sensors for aiding in preventative maintenance allow for more efficient use
of in demand advanced service techs. This also creates benchmarks for optimal production efficiency, not just prevention of equipment failure.
ü Safety and regulatory complianceü Remote monitoringü Asset tracking
10
Industrial IoT - 5 Leading Application/Benefitü Operational efficiency
• From waste management to semiconductor fabrication, being able to run any process with reduced operational expense by driving out inefficiencies and maximizing utility of resources is a key benefit of connectivity, sensors, and analytics.
ü Preventative maintenance• Sensors for aiding in preventative maintenance allow for more efficient use
of in demand advanced service techs. This also creates benchmarks for optimal production efficiency, not just prevention of equipment failure.
ü Safety and regulatory complianceü Remote monitoringü Asset tracking
11
실시간 분석 IoT Big Data: Forbes talk about IoT Data
• Growing Bigger : 2 exabyte a day• Geo-Distributed : Many other Resources in Internet• New tools : Limits to traditional way
Internet of Things Data(IoT)
is growing bigger andcoming faster
IoT Data is generated in
geographicallydistributed
IoT analytics require
functionalityand new tools
12
is growing bigger andcoming faster
than anywhere else
geographicallydistributed
locations
functionalityand new tools
but, most have not been integrated and/or tested
Forbes : The Internet of Things will radically change your big data strategy
Big Data수많은 센서로 인해 점점 빠르고크게 성장하는 데이터
10B+ rows5TB+
Fast Data센서로부터 보다 빠르고 신속하게데이터 수집과 적재
1M+ rows per sec
실시간 분석을 위한 IoT Big Data 기술적 요구사항
13
Fast Data센서로부터 보다 빠르고 신속하게데이터 수집과 적재
Edge AnalyticsIoT 데이터는 대부분 네트워크의‘Edges’ 에서 발생
100+ Locations
Real-Time Insights실시간에 가까운 분석 요구사항
<1 sec queryresponse
time
Big Data수많은 센서로 인해 점점 빠르고크게 성장하는 데이터
100억 건 이상5TB 이상
Wind turbine: 100 turbines x 100M rows per yearRace car: 400M records / day x 365 days test driveTelco: 1.000 cells x 1.000 rows / sec x 1 days - wowTraffic analysis: 60M cars x 1 read / min x 365 daysOil rig: 1 rig = 8 billion records / day (not verified)
Fast Data센서로부터 보다 빠르고 신속하게데이터 수집과 적재
초당100만 건 이상
Import
Network monitoring: 1M rows per sec per cellAsset monitoring: 60M cars x 1 reading per minuteAirplane monitoring: 4 turbines x 3k sensors x 100HzOil exploration: 10.000 wells x 100 sensors x 1HzOil rig: 1 drilling rig x 10.000 sensors x avg 100Hz
실시간 분석을 위한 IoT Big Data 기술적 요구사항 예시
14
Fast Data센서로부터 보다 빠르고 신속하게데이터 수집과 적재
초당100만 건 이상
Import
Network monitoring: 1M rows per sec per cellAsset monitoring: 60M cars x 1 reading per minuteAirplane monitoring: 4 turbines x 3k sensors x 100HzOil exploration: 10.000 wells x 100 sensors x 1HzOil rig: 1 drilling rig x 10.000 sensors x avg 100Hz
Edge AnalyticsIoT 데이터는 대부분 네트워크의‘Edges’ 에서 발생
100개 이상의지역으로 분산
Manufacturing: 300.000 plants in US (2012)Cars / ships / airplanes: >1 billion world wideTelco: 190.000 cell towers in US (2013)Oil: 950.000 wells worldwide; 500.000 in USMobile advertising: de-central adserving / monitoring
Real-Time Insights실시간에 가까운 분석 요구사항
1초 미만의 쿼리응답속도
Dashboarding: real-time visualization, many queriesNetwork monitoring: root cause analysis, optimizationAsset monitoring: conditional monitoring, safetySecurity: anomalie detection, building safetyTraffic: location aware recommendations
IoT 실시간 데이터에 대한 즉각적 분석의 가치
Time = Money
15
실시
간분
석결
과제
공
스마트그리드●
광고서비스●
POS 데이터 분석●웹 분석●
공장 모니터링/제어●SEO 분석●
네트워크 모니터링●
추천엔진●
네트워크 포렌식●
특허보호 및 거버넌스●
모바일 앱 분석●● 원격센서 모니터링●
< 1..10 milli sec
10 sec
10..100 milli sec
1 sec
응답속도
실시간성의 업무 및 서비스 증가
데이터의 활용가치 제고: 실시간 지원을 통한 차별화된 서비스 제공
16
실
시간
분
석
결과
제
공
Batch Import Continuous Streaming Import
Real Time Data
일 시간 초주 분
고객이탈율 감소●
수익 보증●
공장 모니터링/제어●SEO 분석●자산 추적●
특허보호 및 거버넌스●10 sec
10 min
1 min
1h
IoT 환경에서의 분석 플랫폼- 대량 데이터의 실시간 처리- 지역 분산의 다양한 데이터 원천
17
New Concept of Analytics &
Database for IoT
Analytics 3.0
ParStream : True Real-time Analytics Platform
Massively parallel (MPP) Real-Time
In-Memory DB
< 1..10 ms
10 sec
10..100 ms
1 sec
Response time
Batch-Analytics
Stream-Analytics
OperationsAnalytics
Complex Event Processing
Rea
l-Ti
me
Answ
ers
• Vertica (HP)• SybaseIQ (SAP)
• VoltDB
• HANA (SAP)
• MemSQL
Import
Spee
d/C
apac
ity
High Real-Time IoT Analytics
18
Hadoop(Map Reduce Batches)
OLTP Reporting
Gigabyte Terabyte Petabyte
10 min
1 minOLAP
Batch-AnalyticsOperationsAnalytics
1h
Rea
l-Ti
me
Answ
ers
Big Data
Hadoop(Map Reduce Batches)
• Oracle 11G
• Microsoft SQL
• IBM DB2
• Greenplum (EMC) • Netezza (IBM)• Splunk
• CouchDB
• VoltDB
• AsterData
Import
Spee
d/C
apac
ity
Low
1. Lockless architecture가장 빠른 쿼리 성능과 동시에적용 가능한 데이터 임포팅지원
2. MPPMassively Parallel Processing데이터의 위치 분산 및비자원공유 방식의 클러스터지원
SQL API / JDBC / ODBC C++UDF - API
Real-Time Analytics Engine
In-Memory andDisk Technology
Multi-DimensionalPartitioning
HPCI
High Performance Compressed
Index
ParStream‘s Technology Overview
19
2. MPPMassively Parallel Processing데이터의 위치 분산 및비자원공유 방식의 클러스터지원
3. 특허기술 HPCIHigh performance compressed index (patent)
Massively ParallelProcessing (MPP)
Shared NothingArchitecture
3rd generation Columnar Storage
High Speed Loader with Low Latency
HPCI
High Performance Compressed
Index
4. Columnar수백.수천 칼럼의 데이터 수용성능보장
ParStream HPCI (High Performance Compressed Index)
l Superior ParStream index architecture l Standard index architecture
ü Compressed Index Columnar Processing
20
- High Memory Requirements
- High Load on CPUs
- Latency due to Decompression
- Not Suitable for Big Data
- Immediate Query Processing
- No Need for Decompression
- Massively reduced memory + IO load
- Ultra-high Throughput
ParStream 핵심기술 - Columnar
ü 컬럼단위의 저장기술:– Columnar : 저장하고 읽기에 최적인 데이터
구조– 쿼리에서 해당 칼럼의 데이터만 읽고, 데이터
row 전체를 읽지 않음– 디스크 접근을 혁신적으로 줄임
ü 데이터 압축기술 적용:– 컬럼단위의 데이터 압축기술 적용– 데이터 타입에 따른 최적의 압축 결과
ü Native Columnar Execution Engine:– 인코딩된 데이터에서 직접 쿼리실행– 신속한 디코딩 처리
ServerServer
RAM
21
ü 컬럼단위의 저장기술:– Columnar : 저장하고 읽기에 최적인 데이터
구조– 쿼리에서 해당 칼럼의 데이터만 읽고, 데이터
row 전체를 읽지 않음– 디스크 접근을 혁신적으로 줄임
ü 데이터 압축기술 적용:– 컬럼단위의 데이터 압축기술 적용– 데이터 타입에 따른 최적의 압축 결과
ü Native Columnar Execution Engine:– 인코딩된 데이터에서 직접 쿼리실행– 신속한 디코딩 처리
Server
HDD
실시간 분석 엔진
C++UDF - APISQL API / JDBC / ODBC
인메모리와 디스크하이브리드 기술
다차원파티셔닝고성능
압축인덱스(HPCI)
ü표준 SQL Query Interface
l SQL-92 compliant
l Core SQL-2003
l 표준 JDBC, ODBC 연계
ü BI/DW 솔루션과 통합/연계
l BI, ETL, Visualization
ü초고속 Import Interface
l 범용 Import Interface 지원
l File based & Streaming API
l Hadoop Interface API
ParStream : 기존 투자된 인프라와의 쉬운 통합
22
초고속 적재 기술
인메모리와 디스크하이브리드 기술
대량병렬처리(MPP)
다차원파티셔닝
비자원공유글러스터링
3세대 컬럼너 스토리지
고성능압축인덱스
(HPCI)
Hadoop ETL Raw-Data
ü표준 SQL Query Interface
l SQL-92 compliant
l Core SQL-2003
l 표준 JDBC, ODBC 연계
ü BI/DW 솔루션과 통합/연계
l BI, ETL, Visualization
ü초고속 Import Interface
l 범용 Import Interface 지원
l File based & Streaming API
l Hadoop Interface API
ü Integrated with Leading IoT Solutions
ParStream Ecosystem
Custom Apps
Analytics
Visu
alization
23
Analytics
Data
Collectio
n
ParStream : ParStream Geo-Distributed Analytics
Geo-Distributed setup substantially reduces network traffic enabling continuous monitoring (sampling proofed insufficient)Application
Database
Query Search Results40 records found
현재 방식
Application
Query Search Results40 records found
ParStream Geo-Distributed Server
ParStream Geo-Distributed Analytics
24
More than 20 billion records returned
4 billion records
4 billion records
4 billion records
4 billion records
4 billion records
ParStream
7records
18records
5records
12records
8records
4 billionrecords
ParStream ParStream ParStream ParStream
ü Data Importlpartition단위로 Node에 걸쳐
병렬로 데이터를 Loadl데이터는 중복복제 되면서
병렬로 적재
ü Queryl복수개 Node에서 동시에 병렬
처리lNode별로 Query Operation
(Filter/Join)
ü Partitionl 백그라운드에서 과거 데이터
주기적으로 병합
ParStream : Parallel Processing
25
ü Data Importlpartition단위로 Node에 걸쳐
병렬로 데이터를 Loadl데이터는 중복복제 되면서
병렬로 적재
ü Queryl복수개 Node에서 동시에 병렬
처리lNode별로 Query Operation
(Filter/Join)
ü Partitionl 백그라운드에서 과거 데이터
주기적으로 병합
ParStream : Non-stop, Continuous Fast Import
ü Import index & query data in Parallel
ü Arbitrary number of importer nodes
ü Query based import available
ü Periodic compaction in the background merges into large partitions
26
ü Import index & query data in Parallel
ü Arbitrary number of importer nodes
ü Query based import available
ü Periodic compaction in the background merges into large partitions
ParStream : Fault Tolerant
ü Fault Tolerant OperationslData Node, Name Node Failure 시의 가용성lMaster Node Take-OverlQuery & Import 장애 복구
ü Cluster Metadata ManagementlMeta data ReplicationlMaster-Slave Node Recovery
27
ü Fault Tolerant OperationslData Node, Name Node Failure 시의 가용성lMaster Node Take-OverlQuery & Import 장애 복구
ü Cluster Metadata ManagementlMeta data ReplicationlMaster-Slave Node Recovery
No Existing Technology can provide Features and Performance like ParStream does !
• Classical RDBMS don’t support large data and fast querying
• Hadoop batch response times, very immature but flexible
• Key Value Stores not made for flexible analytics, integration into traditional tools an issue
• Other Analytical Databasesfulfill only 1 or 2 of these requirements
BigData
Real-TimeQuerying
Real-TimeImport
28
• Classical RDBMS don’t support large data and fast querying
• Hadoop batch response times, very immature but flexible
• Key Value Stores not made for flexible analytics, integration into traditional tools an issue
• Other Analytical Databasesfulfill only 1 or 2 of these requirements
BigData
FlexibleAnalytics
28
TCOHW
ParStream & BI: 3rd Party Tool Integration
§ A plethora of tools have been successfully evaluated• QlikView
• Tableau
• LogiAnalytics
• Panopticon/DataWatch
• JackBe/Presto
• YellowFin BI
• MicroStrategy
§ Formal Partnerships established§ Sometimes dynamic query generation poses a problem§ New tools evaluated based on customer demand
2929
§ A plethora of tools have been successfully evaluated• QlikView
• Tableau
• LogiAnalytics
• Panopticon/DataWatch
• JackBe/Presto
• YellowFin BI
• MicroStrategy
§ Formal Partnerships established§ Sometimes dynamic query generation poses a problem§ New tools evaluated based on customer demand
QlikView Direct Discovery Hybrid Model
• Opens up massive amounts of Big Data to be used with QlikView’s associative experience
• Business Users and IT collaboratively decide where the data resides –in-memory vs. in-database
• Self-service Big Data analysis powered by the QlikView Business Discovery platform and ParStream integration
BATCH LOAD (in-memory)• Metadata• Reference tables• Small fact tables• Relevant data
3030
QLIKVIEW APPLICATION
DYNAMIC QUERIES• Large fact tables• History tables• Atomic / transaction data
BATCH LOAD (in-memory)• Metadata• Reference tables• Small fact tables• Relevant data
Parstream and TableauParStream fully supports all Chart Types available within Tableau
3131
Imagine a world…Where IoT analytics enable an energy company to…
32
30TBAnalyze Data in Real-time
30TBAnalyze Data in Real-time
15%Increase Efficiency
15%Increase Efficiency
$18K/hr; $158M/yr Generate Operational/
Economic Benefits
(10 GW Capacity; .3 Capacity Factor; $40/MW-hour)
$18K/hr; $158M/yr Generate Operational/
Economic Benefits
(10 GW Capacity; .3 Capacity Factor; $40/MW-hour)
실시간 분석 IoT 빅데이터 적용 : SIEMENS 가스터빈 모니터링
ü 업무 도전과제• Real-time으로 시스템의 효율성이나 작업결정을 하기 위한 복잡한
장비의 최적화• 새로운 서비스 기반의 비즈니스 기회 창출
ü 적용 분야 및 데이터• Real-Time 분석이 필요한 터빈당 초당 5천 개 이상의 데이터 발생
포인트에서 시간당 18억 건 데이터 생성• 모델 기반의 learning/root 원인 분석을 위한 과거 기반 데이터
필요
ü IoT DBMS 적용 기술• 즉각적인 발견과 조치가 가능한 연속적인 data-flow의 real-time
모니터링 기술• 모든 센서 데이터를 저장하고 즉시 읽을 수 있는 통합된
platform의 저장소 및 분석기능 제공 – “Analytical Historian”
ü 효과 및 결과• 저진동 시동에 의한 뒤틀림 감소• 산화질소 배출 감소• 재질의 피로도 예측 및 정비 효율 향상
33
ü 업무 도전과제• Real-time으로 시스템의 효율성이나 작업결정을 하기 위한 복잡한
장비의 최적화• 새로운 서비스 기반의 비즈니스 기회 창출
ü 적용 분야 및 데이터• Real-Time 분석이 필요한 터빈당 초당 5천 개 이상의 데이터 발생
포인트에서 시간당 18억 건 데이터 생성• 모델 기반의 learning/root 원인 분석을 위한 과거 기반 데이터
필요
ü IoT DBMS 적용 기술• 즉각적인 발견과 조치가 가능한 연속적인 data-flow의 real-time
모니터링 기술• 모든 센서 데이터를 저장하고 즉시 읽을 수 있는 통합된
platform의 저장소 및 분석기능 제공 – “Analytical Historian”
ü 효과 및 결과• 저진동 시동에 의한 뒤틀림 감소• 산화질소 배출 감소• 재질의 피로도 예측 및 정비 효율 향상
업무도전 과제
§ 현재 MySQL로 구축된 환경은 선 집계 필요. 문제의 원인을 찾는데 한계가있음.§ 집계처리 시간이 너무 길어 보다 많은 스크랩 제품 발생
데이터 현황
§ 하나의 자동화 테스트 장비가 24개의 바이퍼 관리(24 wafer/lot),한 바이퍼에서 10억건의 테스트 결과 생산
데이터 량으로 봐서는 선 집계가 필요한 환경
Value Proposition§ 계속적인 데이터 플로우의 실시간 모니터링으로 즉각적인 인사이트 및조치로 오류발생을 줄임
§ 제한 없는 데이터 확장으로 반도체 테스트 시장 및 제조사로 시장 확대
Benefits/Results§ 장비 Utilization 향상 : 이전의 배치 중심 분석은 고가의 테스트 장비를 제대로활용하지 못함
§ Revenue Increase: 관리 데이터의 증가는 새로운 고객 및 보다 큰고객으로의 시장 확대 및 수익 증가로 이어짐
§ 신제품 출시 : 드릴다운 분석을 통한 상세 테스트 결과로 새로운 insight§ 비용 절감 : 상세 level의 데이터 분석으로 인한 새로운 insight로 테스트실패율을 줄여 비용이 절감 됨
실시간 분석 IoT 빅데이터 적용 : 반도체 테스트
34
업무도전 과제
§ 현재 MySQL로 구축된 환경은 선 집계 필요. 문제의 원인을 찾는데 한계가있음.§ 집계처리 시간이 너무 길어 보다 많은 스크랩 제품 발생
데이터 현황
§ 하나의 자동화 테스트 장비가 24개의 바이퍼 관리(24 wafer/lot),한 바이퍼에서 10억건의 테스트 결과 생산
데이터 량으로 봐서는 선 집계가 필요한 환경
Value Proposition§ 계속적인 데이터 플로우의 실시간 모니터링으로 즉각적인 인사이트 및조치로 오류발생을 줄임
§ 제한 없는 데이터 확장으로 반도체 테스트 시장 및 제조사로 시장 확대
Benefits/Results§ 장비 Utilization 향상 : 이전의 배치 중심 분석은 고가의 테스트 장비를 제대로활용하지 못함
§ Revenue Increase: 관리 데이터의 증가는 새로운 고객 및 보다 큰고객으로의 시장 확대 및 수익 증가로 이어짐
§ 신제품 출시 : 드릴다운 분석을 통한 상세 테스트 결과로 새로운 insight§ 비용 절감 : 상세 level의 데이터 분석으로 인한 새로운 insight로 테스트실패율을 줄여 비용이 절감 됨
센서 데이터와 차량 모니터링을 위한 실시간 분석
비즈니스 도전과제§ 수십억 건 데이터에 대해 효율성과 운영 시 자동의사결정을 위한
시스템의 최적화
§ 신규 서비스 기반의 비즈니스모델 지원
적용 업무§ 연속적인 GPS 데이터와 이벤트 발생에 대한 실시간 모니터링
파스트림의 기술적 가치§ 월 2억6천만 건 이상의 신규 데이터를 실시간으로 분석
§ 310억 건의 과거 데이터를 실시간 처리
§ 파스트림은 거의 실시간으로 다른 시스템들로부터 모든 데이터를수집함
효과/결과§ 전체적인 데이터 작업 시간이 90% 이상 감소
§ 매년 하드웨어 비용을 60% 절감
§ 실행 시간과 스케줄링 작업이 개선됨
§ 운전자 프로파일에 대한 분석력과 예측력 개선
차량∙텔레매틱스를 적용한 Car Insurance 사례
35
비즈니스 도전과제§ 수십억 건 데이터에 대해 효율성과 운영 시 자동의사결정을 위한
시스템의 최적화
§ 신규 서비스 기반의 비즈니스모델 지원
적용 업무§ 연속적인 GPS 데이터와 이벤트 발생에 대한 실시간 모니터링
파스트림의 기술적 가치§ 월 2억6천만 건 이상의 신규 데이터를 실시간으로 분석
§ 310억 건의 과거 데이터를 실시간 처리
§ 파스트림은 거의 실시간으로 다른 시스템들로부터 모든 데이터를수집함
효과/결과§ 전체적인 데이터 작업 시간이 90% 이상 감소
§ 매년 하드웨어 비용을 60% 절감
§ 실행 시간과 스케줄링 작업이 개선됨
§ 운전자 프로파일에 대한 분석력과 예측력 개선
실시간 분석 IoT 빅데이터 적용 : Fog/Edge Computing
http://www.platone.co/solutions/#Products
- 다양한 환경의 센서를 집중화된 관리 시스템으로..
36
실시간 Telco CDR 분석: BI & Real-Time SQL
37
Real-time Import & Visualization
38
Sensor Analytics for Real-time Environment
39
Highly replicable Case and Strategic Partnership with Qlik view
유통 사례: Retailer Strengthens Vendor Negotiations by POS Data Interactive Analysis
• Interactive Analysis of PoS Data• Existing QlikView solution limits data volume to 400M records
• ParStream extends usage of QlikViewfrom 2 weeks to6 months of data – 6 billion rows
• Further extension to30 billion records planned to cover2.5 years of data
40
"Break-Even analysis per line item on each sales slip, that is what our management is looking for. We can only achieve this with the ParStream solution"
Head of Controlling MPREIS
• Interactive Analysis of PoS Data• Existing QlikView solution limits data volume to 400M records
• ParStream extends usage of QlikViewfrom 2 weeks to6 months of data – 6 billion rows
• Further extension to30 billion records planned to cover2.5 years of data
유통 업무 적용사례: POS 시스템 실시간 분석
6 billion rows of transactional, daily sales data for retail stores were generated. This data was loaded into ParStream in less than 3 hours. A dashboard solution for Direct Discovery data was built; this solution integrates with the existing QlikView In-Memory-driven dashboards.
6 billion rows of transactional, daily sales data for retail stores were generated. This data was loaded into ParStream in less than 3 hours. A dashboard solution for Direct Discovery data was built; this solution integrates with the existing QlikView In-Memory-driven dashboards.
41
Increased Query Performance§ 3 weeks, all stores and 1 department 1.2 sec§ Full time range, 1 store and 1 department 0.9 sec§ 3 weeks, 5 stores and 1 department 0.7 sec§ 4 days, 5 stores and 1 department 0.45 sec
Increased Query Performance§ 3 weeks, all stores and 1 department 1.2 sec§ Full time range, 1 store and 1 department 0.9 sec§ 3 weeks, 5 stores and 1 department 0.7 sec§ 4 days, 5 stores and 1 department 0.45 sec
물류/택배 사례
§ 운행 차량에 대한 다양한 정보 수집과 실시간 모니터링ü 실시간 수집정보를 이용한 실시간 대시보드(Dashboard)ü On-time Delivery 를 위한 실시간 상황 정보
42
INRA MetaGenoPolis (MGP) analyzes 17 billion recordsinteractively – growing 100x per year
Interactive AnalyticsINRA Discovers Meta-Genomic Indicators Faster Due to ParStream’s Ultra-Fast
• INRA is the world leader inmeta-genomic research
• Up to 50 million different bacteria areidentified per stool sample
• Sample size will grow by 100x overnext 12 month
• Data volume will grow from 17 billionto 2 trillion records
• Researchers analyze correlation of bacteria presence with illnesses
• ParStream is used to interactivelydiscover and analyze correlations
43
• INRA is the world leader inmeta-genomic research
• Up to 50 million different bacteria areidentified per stool sample
• Sample size will grow by 100x overnext 12 month
• Data volume will grow from 17 billionto 2 trillion records
• Researchers analyze correlation of bacteria presence with illnesses
• ParStream is used to interactivelydiscover and analyze correlations
43
60B rows
capacity
100x faster than closest competitor
500 concurrent
users
40x faster than closest
competitor
Replace 30TB Oracle data-warehouse
Response time < 1 second
300 concurrent users; 400 days
continuous uptime
10b+ rows; 150ms avg. response time
Reduced 150 servers to 4
Import time 2 weeks à 4
hours
ParStream: 증명된 성공사례
44
60B rows
capacity
100x faster than closest competitor
500 concurrent
users
40x faster than closest
competitor
Replace 30TB Oracle data-warehouse
Response time < 1 second
300 concurrent users; 400 days
continuous uptime
10b+ rows; 150ms avg. response time
Reduced 150 servers to 4
Import time 2 weeks à 4
hours
ParStream 적용 이유
고객실시간Import
실시간조회
유연한분석기능
TCOHW 절감
ü ü
ü ü
ü
ü ü ü ü
45
ü ü ü ü
ü ü
ü ü
ü ü
ü ü ü ü
ü
ü ü
Industry-leading Product Recognition
#1 Big DataStartup
Cisco Entrepreneurs in Residence
46
ParStream is the most reliable System in our Data Center
CTO, etracker
ParStream was 40 times faster than its nearest competitor.
CTO, Cake Marketing
ParStream enabled us to scale internationally - TCO is much lower than with Hadoop
VP Eng, Searchmetrics
ParStream 적용 시 특장점
ü 연속적 데이터 적재 중 신규 데이터에 대한 Real-Time 쿼리 지원• Lockless Architecture, No Update/Delete
• HPCI (High Performance Compressed Index)의 탁월한 성능 차별화
ü 기술에 대한 추가 학습 불필요• 표준 SQL, JDBC/ODBC 지원
• 기존 BI 솔루션 및 사용자 앱 지원
• 기존 ETL, Flume API, Streaming API 지원
ü HW TCO 대폭 절감• Physical, Virtual, Public Cloud 지원
• 표준 H/W 스펙: x86, Linux
ü 엣지 분석 지원• 분산 IoT 환경에 특화된 실시간 분석 솔루션: GDA
• 네트워크 부하 감소로 네트워크 증설비용 최소화
ü IoT 빅데이터 Real-Time 분석에 특화된 최초의 Column기반 RDBMSü 다양한 분야에서의 성공 사례
• BI / DW
• Web, Market Intelligence
• IoT / Industrial Internet
• Science & Public
47
ü 연속적 데이터 적재 중 신규 데이터에 대한 Real-Time 쿼리 지원• Lockless Architecture, No Update/Delete
• HPCI (High Performance Compressed Index)의 탁월한 성능 차별화
ü 기술에 대한 추가 학습 불필요• 표준 SQL, JDBC/ODBC 지원
• 기존 BI 솔루션 및 사용자 앱 지원
• 기존 ETL, Flume API, Streaming API 지원
ü HW TCO 대폭 절감• Physical, Virtual, Public Cloud 지원
• 표준 H/W 스펙: x86, Linux
ü 엣지 분석 지원• 분산 IoT 환경에 특화된 실시간 분석 솔루션: GDA
• 네트워크 부하 감소로 네트워크 증설비용 최소화
ü IoT 빅데이터 Real-Time 분석에 특화된 최초의 Column기반 RDBMSü 다양한 분야에서의 성공 사례
• BI / DW
• Web, Market Intelligence
• IoT / Industrial Internet
• Science & Public
Q & A
ParStreamThe Fastest Real-time IoT∙Big Data Analytics Platform
ParStream [email protected]
Q & A
ParStreamThe Fastest Real-time IoT∙Big Data Analytics Platform
굿모닝아이텍㈜[email protected]
