25
Alexey Bokov Эксперт по облачной платформе Windows Azure [email protected] Windows Azure – облачные сервисы для больших данных BigData Dive : Minsk 19 September 2012 abokov

Windows Azure - Облачные сервисы для больших данных

Embed Size (px)

DESCRIPTION

Презентация с конференции BigData Dive в Минске. Облачные сервисы Windows Azure, демонстрация Hadoop, GridGain

Citation preview

Page 1: Windows Azure - Облачные сервисы для больших данных

Alexey BokovЭксперт по облачной платформе Windows Azure [email protected]

Windows Azure – облачные сервисы для больших данных

BigData Dive : Minsk 19 September 2012

abokov

Page 2: Windows Azure - Облачные сервисы для больших данных

• Содержание:• Облако Windows Azure• Что такое BigData• Hadoop как сервис • GridGain кластер

Page 3: Windows Azure - Облачные сервисы для больших данных

24 узла в CDN: Ashburn, San Francisco, Chicago, San Antonio, Los Angeles, Miami, Newark, Seattle, Amsterdam, Dublin, London,

Moscow, Paris, Stockholm, Vienna,

Zurich, Hong Kong, Sao Paulo, Seoul,

Singapore, Sydney, Taipei, Tokyo, Doha

8 датацентров: - 4 поколение на ITPAC - площадь~ 28 100 кв - мощность ~ 16 МВт - PUE ~ 1.05-1.22 - стоимость ~ 500М $

Windows Azure - инфраструктура

North Central US

South East Asia

East AsiaNorth Europe-Dublin

West Europe - Amsterdam

South Central US

East USWest US

Page 4: Windows Azure - Облачные сервисы для больших данных

Windows Azure - инфраструктура

Подробнее о датацентрах Microsoft: ou.gs/wadc

Page 5: Windows Azure - Облачные сервисы для больших данных

Технологии:• Гибкость, масштабируемость• Оплата по факту использования• Инфраструктура на Windows Server или Linux - как сервис• SLA 99.95%• Полезные облачные сервисы

Page 6: Windows Azure - Облачные сервисы для больших данных

Виртуальные машины• ОС : Windows Server, CentOS, SUSE, Ubuntu, openSUSE• Доступ через Remote Desktop ( Windows ), root ssh ( Linux )

Есть RESP API для управления виртуальными машинами

Page 7: Windows Azure - Облачные сервисы для больших данных

Windows Azure Виртуальные машины

1 ядро x 1.6Ghz

1.75 GB memory 250 GB storage

100 Mbps network

2 ядра x 1.6Ghz

3.5 GB memory 500 GB storage

200 Mbps network

Small0.085/0.15

Medium0.17/0.23

X-Large0.68/0.92

Large 0.34/0.46

4 ядра x 1.6Ghz

7.0 GB memory1000 GB storage

400 Mbps network

8 ядер x 1.6Ghz

14 GB memory2000 GB 800 Mbps network

0.02

Extra Small

1 x 1.0Ghz

Разделяемое ядро768 MB

memory 20 GB storage

5 Mbps network

Стоимость Linux/Windows, $ за час

Page 8: Windows Azure - Облачные сервисы для больших данных

Windows Azure Хранилища данных

Надежная платформа с возможностями гибкого масштабирования ресурсов

Compute$0.04-0.96/hour

+ Variable Instance Sizes

Per service hour

StoragePer GB stored and

transactions$0.12 GB/month

$0.01/100k transactions

Caching

128MB cache for $45/monthPer Message Operation

$1.99/10k transactionsPer Message Operation

Access Control

Prices shown in USD only. International prices are available

$0.10/100 Relay Hours$0.01/10,000 Messages (Queues/Topics/Relays)

Per Message OperationService Bus

Windows Azure

Windows Azure дополнительные сервисы

Реляционная база данных с высоким уровнем доступности и удобным масштабированием

Web Edition$9.99/month

(up to 1 GB DB/month)

Business Edition

Starting at $99.99/month

(10-50 GB DB/month)

SQL Azure

Page 9: Windows Azure - Облачные сервисы для больших данных

Windows Azure – немного цифр

Облачное хранилище:• сейчас вмещает

более 4 триллионов объектов в облачном хранилище

• 270 000 обращений в среднем

• Пиковая нагрузка - 860 000 обращений

Page 10: Windows Azure - Облачные сервисы для больших данных

Полезные сервисы:• Traffic Manager – для геораспределенных сервисов

• CDN – кэширование и быстрый доступ к http контенту

• Media services – обработка видео

• Hadoop as a Service – обработка больших объемов данных

• Очереди Windows Azure Queues, Service Bus

• VPN – гибридные решения

• SQL Azure Trust services, Security services

Page 11: Windows Azure - Облачные сервисы для больших данных

Программы поддержки• Бесплатные триалы и доступ к сервису: WindowsAzure.com

• Конференции и семинары для разработчиков

• Мероприятия по облачным сервисам – бизнес сценарии

• Поддержка стартапов в программе BizSpark: ms-start.ru

• Продвижение сервисов через магазины приложений

• Технологическая помощь

Page 12: Windows Azure - Облачные сервисы для больших данных

Веб платформа для спортивных команд Пряники – сервис

для нематериальной мотивации персонала

Сервис для удаленного управления IT ресурсами

Wizee Шопинг – мобильный гид по торговым центрам

Всероссийская школьная образовательная сеть

Инструмент для выбора надежного партнера по разработке веб-сайтов

Облачный сервис по извлечению данных Облачный сервис для

организации и проведения онлайн мероприятий

Сервис для путешественников

Управление процессом подбора персонала

Трансляция премии “Золотой граммофон” онлайн

Онлайн трансляции представлений

Powered by Windows Azure: сделано в России

Page 13: Windows Azure - Облачные сервисы для больших данных

Платформа создания бизнес-приложений

Сервис создания и обработки диаграмм

Новостной сервис на всех платформах

ERP в облаке

Видео-трансляции

Инструмент поиска по

социальным медиа

Портал для малого бизнеса

Социальная сеть интересных мест

Сервис создания динамического видео

Облачный сервис для дистрибуции авторского контента

Универсальный SaaS для малого бизнеса

Облачный хостинг блогов

Электронный документооборот

Powered by Windows Azure: сделано в России

Page 14: Windows Azure - Облачные сервисы для больших данных

Powered by Windows Azure: сделано в России

Система управления и контроль внутренних процессов

Мониторинг и аналитика брендов

Рейтинг блогосферы

Википедия бизнес-контактовОбмен информацией о продуктах и технологиях

Cистема мониторинга упоминаний в социальных медиа

Сервис для поиска работыТегирование изображений

Page 15: Windows Azure - Облачные сервисы для больших данных

Big Data – что это такое?

• Volume - Объем данных, при этом неструктурированные данные могут составлять 70-85%

всех данных и их доля в общем объеме данных продолдает расти.

• Velocity - Скорость обработки данных.

• Variety - Вариативность данных , неструктурированные данные разных типов ( текст,

цифровое медиа, данные с датчиков ) являются преобладающими

• Variability - Диапазон возможной интерпретации данных. Различные цели анализа данных

требуют разных подходов к анализу данных.

Page 16: Windows Azure - Облачные сервисы для больших данных

Big Data – а много это сколько?

Page 17: Windows Azure - Облачные сервисы для больших данных
Page 18: Windows Azure - Облачные сервисы для больших данных

2005130 EB

20081227 EB

20157910 EB

Page 19: Windows Azure - Облачные сервисы для больших данных
Page 20: Windows Azure - Облачные сервисы для больших данных

Откуда так много?- Интернет видео – 18 Экзабайт в месяц- Мобильный трафик – 2 Экзабайта в месяц- В 2011 году Фейсбук перенес 11 Петабайт данных в свой Hadoop кластер

- Источники данных – сенсоры, краулеры, устройства оцифровки данных, ERM, CRM системы...

Page 21: Windows Azure - Облачные сервисы для больших данных

Windows Azure HadoopWindows Azure

Демонстрация

Page 22: Windows Azure - Облачные сервисы для больших данных

Демо

Page 23: Windows Azure - Облачные сервисы для больших данных

Полезные ресурсы• Портал о технологиях Windows Azure: azurehub.ru

• Группа разработчиков Windows Azure: ou.gs/user

• Сообщество по безопасности IT Security: ou.gs/itsec

• Портал Hadoop: hadooponazure.com

• Блог Windows Azure: ou.gs/msdn

• Наш твиттер: @windowsazure_ru

• Контактный email: [email protected]

Page 24: Windows Azure - Облачные сервисы для больших данных

Спасибо за внимание!

Алексей Боков [email protected] abokov

Ваши вопросы ….

Page 25: Windows Azure - Облачные сервисы для больших данных

© 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a

commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.