Upload
netproject
View
536
Download
1
Embed Size (px)
Citation preview
Обработка сейсмоданных: возможности оптимизации ИТ-инфраструктуры
Всеволод Шабад, генеральный директор[email protected] (985) 765-76-03
Кто такой «СетьПроект»?
Нишевой системный интегратор: создаем и развиваем ИТ-инфраструктуру для сейсморазведки и промысловой геофизики
2
Как сделать сбалансированный кластер?
Производительность должна быть достаточна(ограничена лишь лицензиями на прикладное ПО):
•Paradigm ES 360, GeoDepth, Echos•Schlumberger Omega•Landmark SeisSpace/ProMAX•CGG Geocluster
Стоимость должна быть минимальна
3
Загрузка компонентов кластера
30%
40%
50%
60%
70%
80%
90%
100%
Оптимальный
(лимитирует только CPU)
Неоптимальный
(ничто не лимитирует — мощности
избыточны)
Неоптимальный
(лимитирует сеть, а не CPU)
Ограничителем производительности кластера должна быть
только производительность CPU!
CPU RAM Network Local HDD Shared File System
4
Ключевые идеи оптимизации
Сокращение:•простоев CPU вычислительных узлов•непроизводительной загрузки CPU
вычислительных узлов•эксплуатационных расходов
5
Пример загрузки CPU вычислительного узла
в течение рабочего дня
Оптимизируемые компоненты
Вычислительные узлы
Файловые узлы и СХД
Узлы управления и менеджеры заданий
Сеть передачи данных
Система резервного копирования
Система охлаждения
6
Оптимизация вычислительных узлов
Оптимальный выбор CPU и RAM
Разгрузка процессоров с помощью RDMA
Разгрузка процессоров с помощью GPU
Выбор оптимального форм-фактора серверов
7
Факторы выбора CPU
Система лицензирования прикладного ПО•по ядрам•по сокетам•по хостам•по пользовательским сессиям
Удельная стоимость Тфлопс
Удельная стоимость ядра
Ограничения по тепловыделению
Ограничения по числу хостов
…
8
Выгоды перехода на Xeon E5-2600v4
Семейство Broadwell-EP (E5-2600 v4) Haswell-EP (Xeon E5-2600 v3)
Сервер HPE ProLiant XL230a Gen9
CPU 2x Xeon E5-2680 v4
(28 ядер, 2.4 ГГц)
2x Xeon E5-2680 v3
(24 ядра, 2.6 ГГц)
RAM 256 ГБ (9.1 ГБ / ядро)
PC4-2400
256 ГБ (10.7 ГБ / ядро)
PC4-2133
HDD 3x 1 ТБ SATA
Network 1x Infiniband FDR
Цена List Price, USD 16 051 17 371
Производительность, Тфлопс 0.85 0.81
Цена List Price, USD
за ядро573.25
723.79
на 26% дороже
Цена List Price, USD
за Тфлопс18 883.53
21 445.68
на 14% дороже
9
Типичный вычислительный узел
для Paradigm ES 360
Выгоды перехода на Xeon E5-2600v4
10
Пример неоптимального выбора CPU
Семейство Broadwell-EP (E5-2600 v4) Broadwell-EP (E5-2600 v4)
Сервер HPE ProLiant XL230a Gen9
CPU 2x Xeon E5-2680 v4
(28 ядер, 2.4 ГГц)
2x Xeon E5-2699 v4
(44 ядра, 2.2 ГГц)
RAM 256 ГБ (9.2 ГБ / ядро)
PC4-2400
512 ГБ (11.7 ГБ / ядро)
PC4-2400
HDD 3x 1 ТБ SATA
Network 1x Infiniband FDR
Цена List Price, USD 16 051 30 911
Производительность, Тфлопс 0.85 1.27
Цена List Price, USD
за ядро
573.25 702.52
на 23% дороже
Цена List Price, USD
за Тфлопс
18 883.53 24 339.37
на 29% дороже
11
Типичный вычислительный узел
для Paradigm ES 360
Выгоды перехода на Intel KNL (?)
12
Семейство Broadwell-EP (E5-2600 v4) Intel KNL (Xeon Phi x200)
Сервер HPE ProLiant XL230a Gen9 HPE ProLiant XL260a Gen9
CPU 2x Xeon E5-2680 v4
(28 ядер, 2.4 ГГц)
1x Xeon Phi 7210
(64 ядра, 1.3 ГГц)
RAM 256 ГБ (9.2 ГБ / ядро)
PC4-2400
384 ГБ (6 ГБ / ядро)
PC4-2400 (макс. объем)
HDD 3x 1 ТБ SATA
Network 1x Infiniband FDR 1x Infiniband EDR + 1x 10GbE
Цена List Price, USD 16 051 25 526
Производительность, Тфлопс 0.85 1.27
Цена List Price, USD
за ядро
573.25 398.84
на 30% дешевле
Цена List Price, USD
за Тфлопс
18 883.53 20 099.21
на 6% дороже
Опыта использования KNL для ПО Paradigm пока нет,
опыт использования другими приложениями отрицательный!
Некоторые особенности работы с ОЗУ
Пример для HPE Apollo (Proliant XL230a Gen9):
13
http://h20195.www2.hp.com/v2/getpdf.aspx/c04390759.pdf?ver=9
Разгрузка CPU с помощью RDMA
Как это работает: передача из буфера в буфер без участия процессора и операционной системы
Разгрузка CPU с помощью RDMA
Применение RDMA для передачи данных:•между вычислительными узлами•между вычислительными и файловыми узлами
15
Эффективность RDMA на примере
16
Источник: http://cto.vmware.com/wp-
content/uploads/2012/09/RDMAonvSphere.pdf
Эффективность RDMA на примере
17
Источник: собственный тест «СетьПроекта» для SLB Omega (июнь 2016)
Нужна поддержка RDMA приложениями!
Обработка сейсмоданных:•Paradigm ES 360, GeoDepth, Echos
•встроенная поддержка с версии 15.5•Schlumberger Omega, Landmark ProMAX
•через MPI
Файловые системы:• IBM Spectrum Scale (бывшая GPFS)•Lustre •BeeGFS (бывшая FhGFS)
18
Разгрузка процессоров с помощью GPU
Paradigm:•Echos RTM
Schlumberger:•Omega RTM, Kirchhoff
Tsunami:•Tsunami RTM
…
19
Полный список: http://www.nvidia.co.uk/content/EMEAI/PDF/tesla-gpu-
applications/gpu-apps-catalog-eu.pdf
Эффективность GPU на примере
Приложение – собственная разработка Statoil
GPU — NVIDIA GeForce GTX280
Источник: http://www.idi.ntnu.no/~elster/master-studs/owej/owe-johansen-master-
ntnu.pdf
20
Эффективность GPU на примере
DownUnderGeosolutions (Австралия)
•3800 сопроцессоровIntel Xeon Phi 7120P
Источник:
http://www.intel.com.au/content/www/au/en/big-data/high-performance-
computing-xeon-e5-dug-case-study.html
21
Эффективность GPU на примере
22
Источник: собственный тест «СетьПроекта»
для SLB Omega и NVIDIA Tesla K40 (июнь 2016)
Выбор форм-фактора серверов
Стоечные серверы 1U•например, HPE Proliant DL360 Gen9
Стоечные серверы 2U•например, Fujitsu RX2540 M2
Высокоплотные серверы•например, Lenovo NeXtScale M5
Блейд-серверы•например, DELL M1000e
23
Типичные высокоплотные шасси
Модель шасси Кол-во узлов Высота шасси, RU
Lenovo NeXtScale n1200 12 6
Lenovo ThinkServer n400 4 2
HPE Apollo 2000 4 2
HPE Apollo a6000 10 5 (+1.5)
HPE Apollo 6500 2 4 (+ 1.5)
DELL PowerEdge FX2 8 2
DELL PowerEdge C6320/6300 4 2
Fujitsu Primergy CX400 S2 4 2
Huawei FusionServer X6800 8 4
24
Ключевая выгода: гибкость выбора скоростных сетевых интерфейсов
Файловые узлы и СХД
Выбор оптимальной файловой системы с поддержкой RDMA и QoS
Использование блочных СХД высокой плотности
Кэширование коротких IOPS на SSD и SSD-tiering
Снижение накладных расходов в файловой системе
Резервные копии в виде снапшотов
Прозрачная миграция между дисками и лентами
25
Выбор оптимальной файловой системы
Параметр IBM
Spectrum
Scale
(GPFS)
Lustre
(+ ZFS)
BeeGFS Panasas
PanFS
EMC Isilon
Huawei 9000
NetApp FAS(NFS)
Поддержка RDMA на
клиенте
Есть Есть Есть Нет Нет
Поддержка
снапшотов Redirect-
On-Write
Есть Есть
(через ZFS)
Нет Есть Есть
Прозрачная
миграция на ленты
Есть Есть
(через
GRAU PDM)
Нет Нет Нет
Коммерческая
поддержка
Есть «Есть»
(для ZFS-on-
Linux нет)
Есть Есть Есть
Сложность
настройки
Высокая Высокая Высокая Низкая Низкая
Производительность
Single-Thread
Умеренная Низкая Высокая Низкая Низкая
26
Накладные расходы в ФС на примере
27
Источник: http://wiki.lustre.org/images/b/b2/Lustre_on_ZFS-Ricardo.pdf
Выбор оптимальной блочной СХД
Пример требований: •пропускная способность 3 ГБ/с
на последовательных операциях ввода-вывода•полезная ёмкость 300 ТБ
Варианты решений:•EMC VNX5400 — 174 диска, 39 RU•NetApp E5600 — 69 дисков, 12 RU
Варианты внешних интерфейсов:•SAS, Fibre Channel, 10GbE, Infiniband
Массив NetApp E5600 допускает прямое подключение через Infiniband (протокол iSER)
28
Кэширование IOPS на SSD
Варианты реализации:•кэширование на блочном дисковом массиве• IBM Spectrum Scale:
•Highly-available write cache (HAWC)•Local Read-Only Cache (LROC)
•Panasas ActiveStor:•нет
•Lustre:•L2RC (DDN) — опыта эксплуатации нет!
•EMC Isilon:•SmartFlash
29
SSD-tiering
Наиболее применимо:•заголовки трасс•прочие метаданные
Варианты реализации:•sub-LUN tiering на блочном дисковом массиве• IBM Spectrum Scale:
•storage pools•Panasas ActiveStor:
•встроенные средства PanFS•Lustre:
•PDM (GRAU) — опыта эксплуатации нет!•EMC Isilon:
•SmartPools
30
Резервные копии в виде снапшотов
Традиционные резервные копии(ленты):
•500 ТБ данных, верификация после записи
•на 4 приводах LTO-7 (300 МБ/с):•500 000 000 / (4 * 300
* 2 * 3600) = 58 часов в идеальных условиях
Инновационные резервные копии(снапшоты):
•10 минут вне зависимости от объема
31
Прозрачная миграция на ленты
Промежуточное ПО (LTFS):• IBM Spectrum Archive•HPE StoreOpen
Приводы:• IBM TS1150:
•360 МБ/с •10 ТБ картридж
•LTO-7: •300 МБ/с•6 ТБ картридж
32
Узлы управления и менеджеры заданий
Оптимизируют загрузку кластера
Интеллектуально управляют энергопотреблением
Реализации:•свободные (бесплатные)
•SLURM•TORQUE
•коммерческие •MOAB HPC Suite
(Adaptive Computing)•Spectrum LSF (IBM)•PBS Pro (Altair)
33
Сеть передачи данных
Ключевая технология — RDMA
Варианты:• Infiniband FDR/EDR•Ethernet 40G/56G/100G (с поддержкой RoCE)
34
Intel Omni-Path – новая технология
Достоинства:•более дешевое оборудование, чем Infiniband•на 33% больше портов в коммутаторе
Недостатки:•нет разгрузки CPU от операций ввода-вывода•недостаточная поддержка приложениями•нет шлюза с Ethernet (Mellanox VPI)
35
Система резервного копирования
Защита только от логических сбоев•с помощью снапшотов Redirect-On-Write
Защита от физических сбоев не требуется•если есть выделенная СХД для архива
36
Сравнение реализаций снапшотов
Redirect-On-Write Copy-On-WriteNetApp FAS3240 IBM Storwize v7000
Источник: собственный тест «СетьПроекта» в интересах ОАО «Новатэк» (2012)
37
Система охлаждения
Воздушная:•работает с любым оборудованием
(до 15 кВт на шкаф)•температурный диапазон можно расширить
Жидкостная:•требует адаптации
оборудования или «водяную дверь»
•повышает плотность ЦОД
38
Расширение температурного диапазона
Повышение температуры воздуха в серверной на 5O C позволяет снизить энергозатратысистемы охлаждения на 20% (Intel, IDC, Gartner)
39
Используемые компоненты
Серверы:•Lenovo, HPE, DELL, Fujitsu, Huawei, Sugon,
Inspur, …
СХД:•NetApp, IBM, HPE, HDS, Panasas, Huawei,
DELL|EMC, Fujitsu, …
Сети:•Mellanox, Extreme, Cisco, Lenovo, Huawei, …
Ленточные библиотеки:• IBM, HPE, Quantum
Менеджеры заданий:•Adaptive Computing, IBM, Altair
40
Сильные стороны «СетьПроекта»
Узкая специализация в выбранной нише рынка
Знание отраслевой специфики и прикладного ПО
Знание инфраструктурных ИТ-продуктов и технологий
Передовая методология управления проектами
Систематизированный опыт прежних проектов
Высокая инженерная культура персонала
Активное вовлечение персонала заказчика
41
Cлова партнеров о нас
"СетьПроект" продолжает быть одним из наших главных технологических партнеров в России
•Михаил Ерченков, Paradigm
Благодаря таким активным, квалифицированным и компетентным партнерам, как "СетьПроект", мы рассчитываем существенно нарастить нашу долю на нефтегазовом рынке
•Сергей Горбас, Lenovo
"СетьПроект" — один из наших приоритетных партнеров в нефтегазовой отрасли
•Роман Ройфман, NetApp
42