30
智慧企业 联想制造行业HPC解决方案 郝常杰 联想高性能计算HPC解决方案高级架构师

IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

  • Upload
    others

  • View
    46

  • Download
    0

Embed Size (px)

Citation preview

Page 1: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

智慧企业

联想制造行业HPC解决方案

郝常杰 联想高性能计算HPC解决方案高级架构师

Page 2: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

2

Agenda:

联想与高性能计算01

联想对CAE 仿真业务的理解02

CAE 仿真业务中遇到的挑战03

联想 CAE仿真 HPC 解决方案概述04

联想 CAE HPC 方案优势和关键技术要点05

联想在CAE 仿真领域的经验06

技术服务和支持07

Page 3: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

3

联想是中国X86服务器市场的绝对领导者

Page 4: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

4

联想是中国高性能计算的领导者(2014,2015)

Page 5: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

5

DDR/FDR IB网络最强Linpack效率 92%(400节点)

南京大学HS22 + Infiniband效率: 92%

2016/4/15日完成了高校第一的北京大学高

性能计算中心的验收

624个计算节点,447.6万亿次

4PB容量,70GB/s带宽

56Gb/s IB 网络

Linpack效率81% 创Intel E5-2600V3记录

Page 6: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

6

中国第1台IA服务器

1995年联想推出

2003年深腾6800

TOP500第14位

2009年深腾7000我国首用

百万亿次机

2005年深腾6800

获国家科技进步二等奖

2009年深腾7000G二百万亿次

2011年SuperMUC

世界第一台大规模温水水冷系统

2012年助力神舟九号飞船与天宫一号精准对接

2016年 ISC Top500

联想获得92席

2013年深腾7000北京市科技进步

一等奖

世界第1台万亿次机群

2002年联想推出

2004年深腾1800

获国家科技进步二等奖

……

6

联想高性能计算发展历程

Page 7: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

7

Rack Server

Blade Server刀片系统

NeXtScale Server 快速, 高密, 灵活

Networking

GSSLeoStor高性能存储

Intelligent Cluster™经过完整测试的,工厂预集成系统,包括服务器,存储,网络,集群管理软件等

System Tools R&D资源管理

Services部署, 调优,运维…

联想智能超算平台

LiCO

联想具有最丰富最完善的高性能计算产品—联想深腾X-8800

GPFS™

&Intel Lustre

• 经过了兼容性测试的完整的系统• (包含节点,存储,网络和集群管理)• 完全满足您应用的要求• 预装常见开源HPC应用• 作为一个整体系统为您提供服务 7

Page 8: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

8

联想对CAE 仿真业务的理解

Page 9: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

9

CAE 仿真设计流程

Page 10: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

10

应用需求分析CAE应用软件分类 应用软件 并行方式 扩展性

静态隐式有限元分析

(IFEA Statics)

ABAQUS pthreads

ANSYS OpenMP,MPI

MSC.Nastran pthreads,MPI

动态隐式有限元分析(IFEA

Dynamics)

ABAQUS pthreads

ANSYS OpenMP,MPI

MSC.Nastran pthreads,MPI

显式有限元分析(EFEA)

LS-DYNA OpenMP,MPI

PAM-CRASH OpenMP,MPI

RADIOSS OpenMP,MPI

计算流体动力学(CFD)

FLUENT MPI

STAR-CD MPI

PowerFLOW OpenMP,MPI

• EFEA类应用软件(如RADIOSS、LS-DYNA和PAM-CRASH)和计算流体动力学软件(如FLUENT、STAR-CD和PowerFlow)的硬件平台支持的扩展性相对较好;RADIOSSS/LSDYNA对CPU,I/O性能要求高;

• EFEA类应用软件和CFD软件以采用消息传递并行方式(MPI)为主;

Page 11: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

11

CAE 仿真业务中遇到的挑战

Page 12: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

12

业务中遇到的挑战

CAE对存储和计算资源的依赖

• 新产品设计等,需要更高效率的计算和处理

CAE仿真业务流程复杂

• 前处理,数据传输,仿真计算,后处理,图形可视化

• 自研软件还有采用脚本方式来组织业务流程

CAE仿真技术专家如何从复杂的IT系统中解放出来

• 服务器、存储、网络、软件越来越复杂• 需要简洁、易用、智能的系统,用户更专注与

CAE仿真业务

大规模高性能计算系统带来的挑战

• 供电、散热、系统日常维护• CAE仿真业务的准时性特点,对系统可靠性要求

很高• 系统服务器节点数量增多,带来维护和难度几何

倍数增长

Page 13: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

13

CAE仿真业务平台建设过程中的一些困扰

简单追求硬件规模

• 单纯追求Gflops,简单认为多就是快,忽略存储系统/软件平台的平衡性,系统整理效率很低

• 过度关注硬件产品的通用参数,忽视解决方案的合理性

忽视系统的可靠性和可用性

• 采用廉价服务器、开源软件简单堆砌,系统可用性差

• 使用可靠性差的廉价的非企业级的存储系统导致数据的安全性和可靠性差

Page 14: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

14

联想 CAE仿真 HPC 解决方案概述

Page 15: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

15

CAE HPC架构图

Page 16: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

16

20T HPC架构图

Page 17: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

17

100T HPC架构图

Page 18: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

18

集群系统软件

据存储服务器 应用软件

名称 描述 套

操作系统 RedHat Enterprise Linux 套

集群管理和系统监控软件 xCAT集群管理软件和LENOVO LICO 套

资源管理和作业调度软件报表生成流程管理

LENOVO LICOPlatform LSF&PAC&PA&PM其他(商业版 PBS Pro)

并行文件系统Intel Enterprise LustreGPFS并行文件系统, 套

X86编译器、数学库和并行开发环境Intel并行开发环境

Fortran Compiler编译器,数学库,包含BLAS、LAPACK、Scalapack等等,提供跟踪分析器和跟踪采集器;OpenMPI、MPICH2和MVAPICH等并行编译环境。Intel Parallel Studio XE2017

Page 19: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

19

联想 CAE HPC 方案优势和关键技术要点

Page 20: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

20

GPFS并行文件系统经过验证的可扩展性

• 最大14 TB 的文件• 4PB以上的文件系统• 多达3906个节点

非凡的并发数据访问带宽

• 实测134GB/s

采用开放标准

• 支持X/Open 4.0 文件系统标准,应用无需修改• 文件系统和数据可以通过mount/unmount支持任何客户端

支持多路径数据访问

• 得到更好的扩展性和性能• 支持文件系统恢复和高可用性

支持NFS或SAMBA访问

• 集群外的客户可以通过NFS或SAMBA访问数据

支持Windows/AIX/Linux

• 业界唯一支持Windows作为NSD的并行文件系统

GPFS可以实现数据分级存储和信息生命周期管理

Page 21: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

21

Platform LSF加速计算,提高资源利用率

概述功能强大的工作负载管理器,适用于要求苛刻的、分布式和任务关键型高性能计算环境。

关键特性

收益• 提高利用率: 降低基础设施成本

• 强大的功能: 提高生产率

• 极高的吞吐量: 更快地得到结果

21

• 灵活

支持异构平台策略驱动的自动化CLI, Web服务, API

• 最大规模

支持数以千计的并发用户百万个并发作业同时使用几十万个CPU 核

• 全面

先进的工作负载调度强大的附加功能套件集成化的应用支持

• 功能强大

策略和资源感知型调度整合资源以获得最佳性能先进的自助管理功能

Page 22: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

22

制造企业如何规划HPC计算中心—架构

大机/集群? 规格? 存储 互联体系架构、使用模式

管理、监控

LENOVO HPC 软件

Page 23: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

23

仿真设计一体化

仿真、优化计算,以及三维CAD设计和前后处理的一体化,通过统一门户访问。

后台Windows,Linux统一数据管理和访问

支持集成Citrix XenDesktop实现云设计。

Page 24: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

24

联想在CAE领域的经验

Page 25: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

25

航天多个院所

航空多个所

中国电子/中核

兵器多个所

总参/二炮等…

上海通用

吉利汽车

奇瑞汽车

长安汽车

东风汽车

北京汽车

一汽

中国重汽

长城汽车

雷沃重工

唐山客车

四方车辆

潍柴

GE

制造业/特种行业部分客户案例

Page 26: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

26

联想的技术服务和支持

Page 27: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

27

8

高能效采用绿色节能设备和技术,使系统在保障正常运行的情况下消耗较少的能

源。

可扩展性在设计上充分考虑到可扩展性需求,提供具有最高可伸缩性的系统,并保护用户现

有的投资。

联想高性能计算方案特点

2015 LENOVO INTERNAL. ALL RIGHTS RESERVED.

3

灵活性根据用户对解决大问题和同时运行多个中小型任务的综合需求,优化系统资源配置比例,实现最大的

应用灵活性。

7

高管理性建立统一高效的资源管理系统,对所有计算机系统资源进行统一监控与管理,以集中统一的管理方式,高效率、反应灵敏的技术服务机制,标准化、自动化的管理流程达到提供优质的资源管理服务,更好的满足业务发

展服务。

4

2

先进性选择了代表联想先进水平和全球主流趋势的软硬件平台产品,使之不仅能够满足高性能计算中心目前业务的需要,还能适应未来

技术发展的趋势和需要。

1专业性

联想有具有丰富经验的高性能计算专家团

队。

6

开放性系统方案采用开放标准,开放结构,开放系统组件和开放用户接口。充分满足用户投资保护和业

务扩展、系统维护等方面的需求。 5

稳定性整体系统确保稳定、高效、连续地运营,能够支持全天24 小时的连续

运行需求。

Page 28: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

28

应用调研

高性能计算方案设计

高性能计算方案论证

应用测试和优化

联想Lab Service可以帮助您现场安装和实施

现场培训

其他硬件和软件的服务

联想高性能计算服务

2015 LENOVO INTERNAL. ALL RIGHTS RESERVED.

联想具有高性能计算专家团队和服务团队,这些团队可以在项目的

各个阶段帮助您:

Page 29: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统

29

• 联想是高性能计算市场的领导者

• 联想提供从集群硬件到配套软件的一体化解决方案和全方位的服务

• 联想创新的系统设计使得您的集群系统具有更高的性能和更高的可靠性

• 联想集群系统广泛服务于企业和教育以及研究领域

• 联想与行业应用开发商的长期配合能保证项目的顺利实施

联想高性能计算的优势

Page 30: IBM HPC 案例介绍 - cbismb.com · 超算平台 LiCO 联想具有最丰富最完善的高性能计算产品—联想深腾X-8800 GPFS™ &Intel Lustre • 经过了兼容性测试的完整的系统