Download pdf - Построение аналитических систем для анализа больших данных

Построение аналитических систем для анализа больших данныхКукса Юрий

Ноябрь 2014

1

© 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only

Что такое Big Data ?Взрывной рост объемов информации.

Новые проблемы и возможности.

Big Data – данные, настолько большие, что управлять ими и анализировать их невозможно традиционными инструментами, укладываясь в разумное время и деньги

Атрибуты =проблемы больших данных (5 V)Volume Velocity – кол-во и частота транзакции, IO и NW латентностьVariety - типы данных, pic, audio, video Value – нужно перекопать тонны породы для 1 г Veracity – точность и достоверность

2


Аналитика – новая классификация

1. “Быстрая” : Аналитика передового фронта бизнеса в потоке актуальных данных. MBs/GBs.

2. “Традиционная”: Штабная аналитика с транзакционной БД в центре, выгрузка в хранилище (ETL ). 10s TB

3. “Big Data” – Штабная аналитика, комбинирующая данные с разных источников, используя такие технологии, как Hadoop и NoSQL. 100s TBs или даже PBs.

Все 3 будут будут дополнять друг друга.Cisco’s Vision – архитектурная поддержка всех 3-х, упрощение посредством общей инфраструктуры, управления, минимизации переносов данных (co-location)

3


Сферы применения по индустриям

Выявления мошенничества,Портфельный анализРекомендацииУправление рисками

Финансы

Интеллектуальные сетиУправление мощностямиГибкие тарифы

ЖКХ

Анализ отзывовАдресная рекламаПривлечение новых клиентов

Реклама

Управление взаимодействием с заказчикамиОптимизация цепочки поставокРекомендацииРасположение магазинов и их ассортимент

Розница

Фарма/ клинические исследованияБиоинформатикаПредотвращение махинаций

Здравоохранение

Регулирование рынкаСоциальное страхованиеАнтитеррор / СОРМ

Гос. сектор

Анализ качества процессовОптимизация дистрибуцииПревентивные меры

Производство

4


Success Story

5

https://www.google.com/imgres?imgurl=http://upload.wikimedia.org/wikipedia/commons/thumb/7/74/Dominos_pizza_logo.svg/512px-Dominos_pizza_logo.svg.png&imgrefurl=http://en.wikipedia.org/wiki/Domino's_Pizza&docid=VsggApAgKLXPXM&tbnid=MDF8KsdX8dp7lM:&w=512&h=512&ei=VohMU43hF6SQ3AXPzIC4AQ&ved=0CAIQxiAwAA&iact=c

https://www.google.com/imgres?imgurl=http://upload.wikimedia.org/wikipedia/commons/thumb/7/74/Dominos_pizza_logo.svg/512px-Dominos_pizza_logo.svg.png&imgrefurl=http://en.wikipedia.org/wiki/Domino's_Pizza&docid=VsggApAgKLXPXM&tbnid=MDF8KsdX8dp7lM:&w=512&h=512&ei=VohMU43hF6SQ3AXPzIC4AQ&ved=0CAIQxiAwAA&iact=c

http://www.inovalon.com/

http://www.inovalon.com/

© 2013 Cisco and/or its affiliates. All rights reserved. Cisco Internal Only6

Cisco Confidential 7© 2013-2014 Cisco and/or its affiliates. All rights reserved.

Cisco и Big Data

UCS делает предложение для Big Data полным В фокусе: Hadoop, NoSQL, MPP, бизнес-аналитика Проверенные архитектуры c Cisco UCS

• Cisco UCS “Common Platform Architecture” for Big Data (теперь a Cisco UCS Integrated Infrastructure Initiative)

• ISV партнеры

• Совместные решения с EMC/VCE и NetApp

Влиятельный игрок на рынке облачных вычислений85% глобального IP-трафика проходит через Cisco


IVB. SFF – 1TB SAS. LFF – 4TB SAS. Optional flash (cache-tier, primary high speed storage or boot)


Cisco UCS CPA for Big Data v3Reference Architectures and Bundles

Starter High Performance Performance Optimized

Capacity Optimized

Extreme Capacity

Designed for Performance and density for analytics

engines, NoSQL databases, and entry-

level Hadoop deployments

Extreme performance and density for analytics engines

Balance of compute and storage for

scale-out applications

including Hadoop, NoSQL, and MPP

databases

Storage-intensive Hadoop and

scale-out storage deployments.

Industry leading storage density with low cost per terabyte

Applications Actian Matrix, DataStax Enterprise, Elastic Search, MongoDB, Oracle

NoSQL Database, Pivotal GreenplumDB, Platfora, SAS Analytics, Splunk,

and Hadoop deployments

Actian Matrix, DataStax Enterprise, Elastic Search, MongoDB, Oracle NoSQL

Database, Platfora, SAS Analytics, Splunk, and high-performance Hadoop deployments

Actian Matrix, Cloudera, HortonWorks, MapR,

MarkLogic, Greenplum DB, Pivotal HD, SAS Analytics, and

Splunk

Actian Matrix, Cloudera, HortonWorks, MapR, MarkLogic, Pivotal HD, SAS Analytics, and

Splunk

Snapshots, active archiving, compliance, media storage, and

distributed file systems for scenarios in which high storage capacity is important

Server UCS C220 M4 UCS C220 M4 UCS C240 M4 UCS C240 M4 UCS C3160CPU 2 x Intel Xeon E5-2620 v3 (15M Cache,

2.40 GHz)2 x Intel Xeon E5-2680 v3 (30M Cache, 2.50

GHz)2 x Intel Xeon E5-2680 v3 (30M

Cache, 2.50 GHz)2 x Intel Xeon E5-2620 v3 (15M

Cache, 2.40 GHz)2 x Intel Xeon E5-2695 v2 (30M

Cache, 2.40 GHz)Memory 256GB 256GB 256GB 128GB 256GB

Storage Controller Cisco 12-Gbps SAS Modular Raid Controller with 2-GB FBWC

Cisco 12-Gbps SAS Modular Raid Controller with 2-GB FBWC




Storage 8 1.2-TB 10K SAS SFF HDD 2 1.2-TB 10K SAS SFF HDD, 6 400-GB SAS SSD

2 120-GB SATA SSD, 24 1.2-TB 10K SAS SFF HDD

2 120-GB SATA SSD. 12 4-TB 7.2K SAS SFF HDD

2 120-GB SATA SSD, 60 4-TB 7.2K SAS SFF HDD

Network Controller Cisco UCS VIC 1227 2 10GE SFP+ Cisco UCS VIC 1227 2 10GE SFP+ Cisco UCS VIC 1227 2 10GE SFP+ Cisco UCS VIC 1227 2 10GE SFP+ 2 Cisco UCS VIC 1227 2 10GE SFP+

Network and Cluster Scaling

2 Cisco UCS 6248UP FIs, Scale up to 32 servers with no additional switching

infrastructure

2 Cisco UCS6248UP FIs, Scale up to 32 servers with no additional switching infrastructure

2 Cisco UCS 6296UP FIs, Scale up to 80 servers per domain, Scale to thousands of servers with Cisco

Nexus 7000 or 9000 Series Switches

2 Cisco UCS 6296UP FIs, Scale up to 80 servers per domain, Scale to

thousands of servers with Cisco Nexus 7000 or 9000 Series Switches

Integrates into existing or new Cisco UCS and Nexus infrastructure

Cisco Single SKU SmartPlay Offers

UCS-SL-CPA3-S(8 servers)

UCS-SL-CPA3-H(8 Servers)

UCS-SL-CPA3-P(16 Servers)

UCS-SL-CPA3-C(16 Servers)

UCS-SL-CPA3-D(5 Servers) 9


(теперь Cisco UCS Integrated Infrastructure for Big Data)

UCS 6200 SeriesFabric Interconnects

Nexus 2232Fabric Extenders

(optional)

UCS Manager

UCS C220/C240 M4 Servers

LAN, SAN, Management

10


Простая интеграция с корпоративными приложениями

UCS Manager: развертывание,

управление и мониторинг в масштабах Big Data

Низколатентная сетевая фабрика высокой

пропускной способности увеличивает

эффективность кластера

Крепкое партнерство с ключевыми прикладными

вендорамиобеспечивают поддержку

решения на уровне Enterprise

Почему Cisco UCS для Big Data ?


6200Fabric A

6200Fabric B

B200CNA

FEX

B

FEX

A

SAN A SAN BETH 1 ETH 2

MGMT MGMT

Chassis 1

Fabric Switch

Uplink Ports

Compute BladesHalf / Full width

OOB Mgmt

Server Ports

Virtualised Adapters

Cluster

Rack Mount –С240

CNA

FEX A FEX B

Cisco UCS : физическая архитектура – CPA v2

Fabric Extenders:


6200Fabric A

6200Fabric B

B200CNA

FEX

B

FEX

A

SAN A SAN BETH 1 ETH 2

MGMT MGMT

Chassis 1

Fabric Switch

Uplink Ports

Compute BladesHalf / Full width

OOB Mgmt

Server Ports

Virtualised Adapters

Cluster

Rack Mount –С240

CNA

Cisco UCS : физическая архитектура – CPA v3

Fabric Extenders:Optional in CPA V3


UCS Rack-Mount Servers UCS Blade Servers

Big Data Common Platform Architecture

NoSQL Database

SAN/NAS Arrays

Enterprise Applications

Расширение экосистемы Cisco UCS для традиционных корпоративных приложений в сторону Big Data

http://mapr.com/

http://mapr.com/

http://paraccel.com/

http://paraccel.com/













Болевые точки управления кластером

Развертывание

Мониторинг

Рутинные операции по

обслуживанию

Масштабирование

UCS Manager приходит на помощь:

• Быстрые элементарные и групповые операции

• Моделирование, перестроение конфигураций и топологий, - больше тестов и симуляционных прогонов

• Консистентность, надежность конфигураций

• Простота• Все ресурсы видны как на

ладони


Инфраструктура Big DataUCS Management (160 узлов в одном кластере UCS Domain)

• Кластерная топология и инвентаризация• Детальная инвентаризация сервера• Назначение пулов идентификационных

номеров MAC, IP, UUIDИнвентарный учет

и управление ресурсами

Детектирование сбоев, обновление

ПО

Политики QoS иконтроль

энергопотребления

• Обнаружение сбоев, запись в журналы• Агрегирование событий• Обновление системного ПО

• Задание политик QoS• Управление на основе политик• Контроль потолка потребляемой мощности













Унифицированная фабрика Cisco дает высокую пропускную способность

• “Прокачка” на номинальной скорости аппаратуры без загрузки CPU на сервере• Динамическое управление полосами пропускания по заданным SLA• Стабильно низкая латентность между узлами кластера (микросекунды)

3G/s LAN Traffic (HDFS Import)3G/s

2G/s

3G/sCluster Traffic (Shuffle)3G/s

3G/s

Application Traffic (HBase) 4G/s

5G/s3G/s

t1 t2 t3

Индивидуальныеинтерфейсы Ethernet

Сгруппированные поприоритету QoS








Крепкое партнерство с ключевыми прикладными вендорами обеспечивают

поддержку решения, готового промышленной

эксплуатации

Почему UCS для Big Data ?

Cisco Confidential 21© 2013-2014 Cisco and/or its affiliates. All rights reserved.

Cisco UCS Big Data – партнеры ISV

• Референтные архитектуры• Совместные инженерные лаборатории• Документированные best practice и design guide

• Cisco Big Data Design Zone• Cisco Big Data Lab для тестирований и POCs

NoSQL Database

No SQL MPP Databases

Hado

op

Analytics

http://en.wikipedia.org/wiki/File:Marklogic-logo.PNG

http://en.wikipedia.org/wiki/File:Marklogic-logo.PNG

http://www.google.com/url?sa=i&rct=j&q=Pivotal+HD&source=images&cd=&cad=rja&docid=QNa4pXdwkTkfOM&tbnid=RZ_iUUg3abeHTM:&ved=0CAUQjRw&url=http://www.greenplum.com/products/pivotal-hd&ei=fXyRUaq1MpPi8gTzgoG4Dw&bvm=bv.46340616,d.aWc&psig=AFQjCNHPlCHgOMGhQBF_K4_rOIEA6JCtiQ&ust=1368575473932207

http://www.google.com/url?sa=i&rct=j&q=Pivotal+HD&source=images&cd=&cad=rja&docid=QNa4pXdwkTkfOM&tbnid=RZ_iUUg3abeHTM:&ved=0CAUQjRw&url=http://www.greenplum.com/products/pivotal-hd&ei=fXyRUaq1MpPi8gTzgoG4Dw&bvm=bv.46340616,d.aWc&psig=AFQjCNHPlCHgOMGhQBF_K4_rOIEA6JCtiQ&ust=1368575473932207

http://www.google.com/url?sa=i&rct=j&q=datastax&source=images&cd=&cad=rja&docid=koOjHoYhZRjTpM&tbnid=W1yQYvDAE-wpEM:&ved=0CAUQjRw&url=http://www.dataversity.net/datastax-raises-25m-in-series-c-funding/&ei=o3yRUZM1iMD2BIKFgPgN&bvm=bv.46340616,d.aWc&psig=AFQjCNHfs6G6tUAZAA-wJsrr31LZYyd5BA&ust=1368575518058754

http://www.google.com/url?sa=i&rct=j&q=datastax&source=images&cd=&cad=rja&docid=koOjHoYhZRjTpM&tbnid=W1yQYvDAE-wpEM:&ved=0CAUQjRw&url=http://www.dataversity.net/datastax-raises-25m-in-series-c-funding/&ei=o3yRUZM1iMD2BIKFgPgN&bvm=bv.46340616,d.aWc&psig=AFQjCNHfs6G6tUAZAA-wJsrr31LZYyd5BA&ust=1368575518058754

http://www.google.com/url?sa=i&rct=j&q=horton+works&source=images&cd=&cad=rja&docid=67GVH4kA9XoD1M&tbnid=N1ZQhJktTPqzBM:&ved=0CAUQjRw&url=http://siliconangle.com/blog/2011/06/28/yahoo-takes-hadoop-enterprise-with-hortonworks/&ei=BtADUrbUFYOTyQH634DABA&bvm=bv.50500085,d.aWc&psig=AFQjCNFnhkMTduOvsaZrcsq_NcB_oVDr3A&ust=1376067971016990

http://www.google.com/url?sa=i&rct=j&q=horton+works&source=images&cd=&cad=rja&docid=67GVH4kA9XoD1M&tbnid=N1ZQhJktTPqzBM:&ved=0CAUQjRw&url=http://siliconangle.com/blog/2011/06/28/yahoo-takes-hadoop-enterprise-with-hortonworks/&ei=BtADUrbUFYOTyQH634DABA&bvm=bv.50500085,d.aWc&psig=AFQjCNFnhkMTduOvsaZrcsq_NcB_oVDr3A&ust=1376067971016990

http://www.google.com/url?sa=i&rct=j&q=&esrc=s&frm=1&source=images&cd=&cad=rja&uact=8&docid=eylyUSQkMMAcnM&tbnid=Vw7OC5K0eT9zjM:&ved=0CAUQjRw&url=http://www.zurich.ibm.com/%7Ecca/csc2011/&ei=b84rU9-JCcb0oASMl4C4Dg&bvm=bv.63316862,d.cGU&psig=AFQjCNEr8Dsi1LP6SMvkgw7oUG9K9m45-A&ust=1395466215713417

http://www.google.com/url?sa=i&rct=j&q=&esrc=s&frm=1&source=images&cd=&cad=rja&uact=8&docid=eylyUSQkMMAcnM&tbnid=Vw7OC5K0eT9zjM:&ved=0CAUQjRw&url=http://www.zurich.ibm.com/%7Ecca/csc2011/&ei=b84rU9-JCcb0oASMl4C4Dg&bvm=bv.63316862,d.cGU&psig=AFQjCNEr8Dsi1LP6SMvkgw7oUG9K9m45-A&ust=1395466215713417


• 8 больших проектов с глобальными клиентами• Cloudera Big Data Software Leadership + Cisco’s Platform Leadership and

Deep Account Relationships • Клиенты с новыми и унаследованными задачами• Нет конкуренции с Cisco• Совместное решение – платформа уровня Enterprise для Big Data

+Что говорят партнеры: Cloudera


Простое позиционирование Hadoop дляBI / DW аудитории

Cloudera’s Hadoop distribution, работающее на Cisco UCS, это как обычное хранилище данных (DW), только вмещает больше данных,

больше типов данных,и позволяет выполнять более продвинутую аналитику.

В то же время это open source, поэтому,на порядок экономичнее, чем

хранилища на базе Teradata / Netezza / Exadata.

Что говорят партнеры: Cloudera


Sensor Data

Web Logs

Hadoop

RDBMS

Преимущества: Структурированные и неструктурированные данные Расширенная аналитика с MapReduce, NoSQL, и т.д.

DWQuery + Present ETL + Long Term StorageETL + Long Term Storage

Solution Cost / Terabyte Hadoop Advantage

MapR inclusive of Cisco UCS $500

Teradata Warehouse Appliance $26,000 50x savings

Oracle Exadata $21,000 40x savings

IBM Netezza $18,000 36x savings

Что говорят партнеры: MapR – подтверждает новую экономику хранилищ данных на Cisco UCS


Cisco UCS Big Data – один из результатов партнерства

MapR на Cisco CPA v2 показали линейную масштабируемость производительности на тестах Yahoo Storage Benchmark – это квалификационные испытания для кластеров Hadoop.








Крепкое партнерство с ключевыми прикладными вендорами обеспечивают

поддержку решения, готового промышленной

эксплуатации

Определенно, Cisco UCS для Big Data ;-)!

CiscoRu Cisco CiscoRussia

Ждем ваших сообщений с хештегом#CiscoConnectRu

• Пожалуйста, используйте код для оценки доклада

•4546•

Ваше мнение очень важно для нас

Спасибо за внимание!

18.11.2014 © 2014 Cisco and/or its affiliates. All rights reserved.

Построение аналитических систем для анализа больших данныхКукса Юрий

Ноябрь 2014

28