Embed Size (px)
DESCRIPTION
Citation preview
Масштабируемые серверные платформы для
высоконагруженных систем
Евгений Лагунцов, НР Россия
Вариант 1.• 32 сервера (2x Xeon 5450,
16GB, 4xGE, 250GB HDD)• 4 коммутатора top-of-the-rack
1/10Gb• Монтажный шкаф 42U• Энергопотребление: 14.3кВт• 224 кабеля внутри (4x32 UTP,
2x32 10А-Power, 1x32 Console)• 12 кабелей снаружи (8x 10GE,
6x 32A-Power)• 262,316 очень условных
единиц
Вариант 2.• 32 сервера (2x Xeon 5450,
16GB, 4xGE, 250GB HDD)• 8 интегрированных
коммутаторов 1/10Gb• Серверная полка 10U (19”)• Энергопотребление: 7.7кВт• 0 кабелей внутри• 12 кабелей снаружи (8x
10GE, 6x 16A-Power)• 270,560 очень условных
единиц
• Что же такое блейд-система, как она работает и почему эффективна?– Серверная полка– Питание и охлаждение– Блейд-серверы– Решения по внутриполочной коммутации
• Решения по хранению данных для блейд-инфраструктур– Внутри-полочные системы хранения– Внешние разделяемые системы хранения– Масштабируемые системы хранения для блейд и на базе блейд
• Если все же блейд – не для всех?
План доклада:
Блейд-инфраструктура HPСерверная полка
Адаптер ввода-вывода
Блейд-сервер
Интегрированный коммутатор
Сигнальная панель и панель питанияВентилятор
Блок питания
Встроенные средства управления• Реализованы на базе модуля Onboard
Administrator• Модуль с «горячей заменой», с
резервированием• Расширенные средства мониторинга и
управления блейд-инфраструктуры• Прозрачная интеграция с
контроллерами управления, интегрирвоанными на серверы
• Активное управление распределением нагрузки на блоки питания и вентиляторы
Динамическое энергосбережение• Пример: система потребляющая 1800 Вт
• 6 блоков питания, 300 Вт каждый, 75% КПД • 2400 Вт (вход), 1800 Вт (выход) • 600 Вт потери
• 2 блока питания, 900 Вт каждый, 89% КПД• 2048 Вт (вход), 1800 Вт (выход)• Экономия - 352 Вт на блок• 4 резервных блока питания – в режиме горячего
резерва включаются при возрастании потребляемой мощности
При 20 блоках и цене $0,075 за кВт/час возможная экономия около $4600/год
Вентилятор HP Active Cool• Сверхмощный воздушный поток• Высокое давление• Лучший в своем классе уровень
надежности• Отличная акустика во всем рабочем
диапазоне• Низкое энергопотребление• Адаптация под текущие условия• 1 вентилятор Active Cool – достаточно для
охлаждения 5 серверов DL360
Блейд-серверыBL460c BL465c BL260c BL2x220c BL495c BL480c BL680c BL685c BL860c BL870c SB40c TB448c SB920c PCIExp SB600c xw460c
Двухпроцессорные серверыдо 8 ядер, до 128GB RAM
Четырехпроцессорные серверыдо 24 ядер, до 192GB RAM
Модули расширения, блейд-системы хранения, блейд-рабочие станции
Model BL460c BL465c BL480c BL680c BL685c BL860c
Processors 2-socket quad-core Intel Xeon
2-socket Quad-Core AMD Opteron 2000 Series
2-socket quad-core Intel Xeon
4-socket Quad-, 6-Core Intel Xeon 7400 Series
4-socket Quad-Core AMD Opteron 8000 Series
2-socket Intel Itanium2
MemoryFBDimm 667MHz (8) DIMMs / 64GB
DDR2 667MHz(8) DIMMs / 64GB
FBDimm 667MHz (12) DIMMs / 64GB
FBDimm 667MHz(16) DIMMs /128GB
DDR2 667MHz(16) DIMMs/128GB
DDR 533MHz(12) DIMMs/96GB
Management iLO 2 Standard Blade Edition
iLO 2 Standard Blade Edition
iLO 2 Standard Blade Edition
iLO 2 StandardBlade Edition
iLO 2 StandardBlade Edition
iLO 2 Standard Blade Edition
Internal HP Storage (2) SFF SAS bays (2) SFF SAS bays (4) SFF SAS bays (2) SFF SAS bays (2) SFF SAS bays (2) SFF SAS bays
RAIDRAID 0/1 controller w/ BBWC option
RAID 0/1 controller w/ BBWC option
RAID 0/1/5 controller w/ BBWC option
RAID 0/1 controller w/ BBWC option
RAID 0/1 controller w/ BBWC option
RAID 0/1 controller
NICs (2) GbE NICs (2) GbE NICs(2) GbE NICs(2) GbE NICs
(2) GbE NICs(2) GbE NICs
(2) GbE NICs(2) GbE NICs
(4) GbE NICs
Mezzanine slots 2 2 3 3 3 3
Model BL260c BL495c BL2x220c BL870c
Processors 2-socket Quad coreIntel Xeon
2-socket Quad-coreAMD Opteron
2x 2-socket Quad-core Intel Xeon
4-socket dual-coreIntel Itanium2
Memory (6) DIMMs / 48GB (16) DIMMs / 128GB2x DDR2 667MHz (4) DIMMs / 32GB
DDR2(24) DIMMs/192GB
Remote Management iLO 2 Standard Blade Edition iLO 2 Standard Blade Edition iLO 2 Standard Blade Edition iLO 2 Standard Blade Edition
Internal HP Storage (2) SFF NHP SATA bays 2 NHP SATA SSD 2x(1) SFF NHP SATA bays or SSD (4) SFF SAS bays
RAID Software RAID 0/1, optional external storage blade
Optional external storage blade none RAID 0/1 controller
NICs (2) GbE NICs (2) 10GbE 2x(2) GbE NICs (4) GbE NICs
Mezzanine slots 1 2 2x1 3
HP ProLiant BL460c• 2 процессора Dual-, Quad-core Intel Xeon 5200 и 5400• 8 слотов под оперативную память (до 64GB)• 2 диска SAS/SATA с возможностью горячей замены• RAID-контроллер Smart Array с батарейной защитой кэш-памяти
• 2 интегрированных адаптера GigE• 2 дополнительных слота
для установки плат расширения• Контроллер управления iLO
HP ProLiant BL495c• 2 процессора Quad-core AMD Opteron 2300• 16 слотов под оперативную память (до 128GB)• 2 диска SSD 64GB• Опциональная возможность подключения storage blade
• 2 интегрированных адаптера 10GigE
• 2 дополнительных слотадля установки плат расширения
• Контроллер управления iLO
HP ProLiant BL2x220c• 2 полнофункциональных сервера в одном
конструктиве => 32 сервера на серверную полку 10U, 128 серверов и 1024 ядра на монтажный шкаф 42U
• Специализированный чипсет, память DDR2 => уникальное соотношение производительность/Вт
• Никакого comminucation sharing – каждый сервер работает со своими выделенными линиями сетевых коммуникаций
• Очевидный минус: серверы можно вынимать из полки только парами. Для большинства scale-out заказчиков это непринципиально
HP ProLiant BL2x220cКаждый узел (их два в одном конструктиве) содержит:
• 2 процессора Dual-, Quad-core Intel Xeon 5200 и 5400• 4 слота под оперативную память (до 32GB)• диск SATA 250GB или SSD 64GB• 2 интегрированных адаптера GigE• 1 дополнительный слот
для установки плат расширения (GigE, 10GigE, FC, Infiniband DDR)• Контроллер управления iLO
Коммуникационные адаптеры• На каждый сервер интегрированы два или четыре адаптера GigE (на
BL495cG5 – два адаптера 10GigE)• Адаптеры вставляются в стандартизованные разъемы на материнской
плате сервера (mezzanine-слоты)• У адаптеров нет своей «скобки» и внешних разъемов – подключение к
внешним сетям осуществляется по сигнальным дорожкам объединительной панели, на приемной стороне которых – коммутаторы
• Адаптеры построены на стандартных микросхемах => никаких проблем с драйверами
• На текущий момент доступны следующие адаптеры:– Dual-port GigE (Intel, Broadcom), Quad-port GigE (Intel, Broadcom),– Dual-port iSCSI HBA (QLogic),– Dual-port FC (QLogic, Emulex),– Dual-port 10GigE (NetXen),– Dual-port Infiniband DDR 20Gb/s (Mellanox)
Интегрированные коммуникации• 8 отсеков для коммуникационных устройств (коммутаторов)• Каждый коммуникационный отсек связан с каждым слотом для
блейд-сервера• Отсеки сгруппированы по парам для обеспечения
отказоустойчивости и повышения производительности• Два верхний отсека зарезервированы для устройств GigE/10GigE,
подключенных к интегрированным на серверы адаптерам• Линии, связывающие коммуникационный модуль и сервер –
стандартные линии SERDES => прозрачная совместимость со всеми стандартами: GigE, 10GigE, FC, Infiniband, SAS
• На сегодняшний день используемая производительность линка к каждому отсеку – 10Gbit/s, для коммутаторов двойной ширины (Infiniband DDR) – 20Gbit/s
Коммутаторы• Интегрируются в коммункиационные отсеки полки• Ряд портов – внутренние, для связи с серверами (как правило, у
каждого коммутатора 16 внутренних портов).• Ряд портов – внешние, для связи с внешней сетевой инфраструктурой• Ряд портов (опционально) – для связи коммутаторов внутри полки
между собой• На сегодняшний день доступны следующие коммутаторы:
– HP Virtual Connect Ethernet GigE/10GigE (HP),– HP Virtual Connect FC (HP),– GigE (BNT, Cisco), GigE L3 (BNT, Cisco),– GigE/10GigE L3 (BNT, Cisco),– 10GigE (NetXen),– FibreChannel 4Gb (Cisco, Brocade), FibreChannel 8Gb (Brocade),– Infiniband 20Gb/s (Mellanox).
Блейд-системы храненияStorage Blade SB40c• Добавление к любому серверу
(кроме BL2x220) дополнительно 6 дисков SAS/SATA с горячей заменой и RAID-контроллера
• Доступные диски:– 72GB SAS 15k,– 146GB SAS 10k,– 250GB SATA
• На картинке: полка с 8-ю серверами, в каждом по 8 дисков (2TB)
Tape Blade SB920c• Добавление к любому
серверу ленточного привода Ultrium 920
All-in-One SB600c• Разделяемая система
хранения внутри полки (iSCSI, NFS)
Внешние системы хранения FCКак подключить блейд в SAN:• Интеграция в серверы адаптеров FC• Интеграция в полку коммутаторов FCПлюсы: • Масштабируемость• Гибкость распределения ресурсов• Возможность общего доступаМинусы:• Как правило, дорого• Относительно сложно• Особенно при очень больших объемах
На рисунке:• 32 двухпроцессорных
сервера BL2x220c,• 4 системы хранения
MSA2000,• 192 «сырых» TB на дисках
SATA,• или 86 «сырых» TB на
дисках SAS 15k,• или любая комбинация,• в одном шкафу 42U
Внешние системы хранения SAS
Общие принципы – аналогичны SAN/FC:• Разделяемое, гибко распределяемое, легко
расширяемое пространствоНо дешевле и прощеА также компактнее – 70 дисков LFF (70TB) в 5UАдаптеры и коммутаторы SAS для блейд-системВозможности Zoned Storage
Скоро
ExDS – Extreme Data StorageИнтегрированное программно-аппаратное решение - 820ТБ в 2 шкафах 42U• Блейд-система:
– Головные узлы, от 4 до 16 двухпроцессорных серверов;– Адаптеры и коммутаторы SAS;
• Системы хранения:– Блоки хранения – контроллерная пара, плюс 82 диска по 1ТБ, размещается в 7U;– Кол-во блоков хранения – от 3 до 10;
• Программное обеспечение:– Интегрированные средства управления;– Кластерная симметричная файловая система – доступна всем блейдам;– Поддержка различных протоколов (NFS, HTTP, …)
Скоро
POD – Performance Optimized Datacenter
• Центр обработки данных в стандартном контейнере (13м х 3м)
• 22 монтажных шкафа 50U• Водяное охлаждение – отвод
35кВт со шкафа• До 3520 серверов• Более 12000 жестких дисков
LFF
Для тех, кто не любит слово «блейд»• 4 двухпроцессорных сервера в корпусе 2U• В каждом сервере:
– 2 процессора Intel Xeon,– 8 слотов под модули памяти (до 64GB),– 2 интегрированных GigE интерфейса,– один стандартный слот расширения PCI-express x8 / x16,
• 8 или 12 дисков LFF, распределяемых между узлами в почти произвольном порядке
• Централизованная “а ля блейд” структура питания и охлаждения: – 2 блока питания 1200Вт, – 5 вентиляторов
