天河二号

由国防科大研制的天河二号超级计算机系统，以峰值计算速度每秒5.49亿亿次、持续计算速度每秒3.39亿亿次双精度浮点运算的优异性能位居榜首，成为全球最快超级计算机。2010年11月，天河一号曾以每秒4.7千万亿次的峰值速度，首次将五星红旗插上超级计算领域的世界之巅。此次是继天河一号之后，中国超级计算机再次夺冠。2013年11月18日，国际TOP500组织公布了最新全球超级计算机500强排行榜榜单，中国国防科学技术大学研制的“天河二号”以比第二名—美国的“泰坦”快近一倍的速度再度登上榜首。美国专家预测，在一年时间内，“天河二号”还会是全球最快的超级计算机。

1、概述

由中国国防科学技术大学研制“天河二号”超级计算机，是国家863计划“十二五”高效能计算机重大项目的阶段性成果。“天河二号”在体系结构、微异构计算阵列、高速互连网络、加速存储架构、并行编程模型与框架、系统容错设计与故障管理、综合化能耗控制技术以及高密度高精度结构工艺等方面，突破了一系列核心关键技术。

“天河二号”运算1小时，相当于13亿人同时用计算器计算一千年，其存储总容量相当于存储每册10万字的图书600亿册。与此前研制的“天河一号”相比，二者占地面积相当。“天河二号”计算性能和计算密度均提升了10倍以上，能效比提升了2倍，执行相同计算任务的耗电量只有“天河一号”的1/3，最大运行功耗17.8兆瓦。

国际TOP500组织公佈了最新全球超级计算机500强排行榜榜单，中国国防科学技術大学研製的“天河二号”以每秒33.86千万亿次的浮点运算速度，成为全球最快的超级计算机。

2、系统参数

系统组成

“天河二号”超级计算机系统由170个机柜组成，包括125个计算机柜、8个服务机柜、13个通信机柜和24个存储机柜。与此前研制的天河一号相比，二者占地面积相当，占地面积约720平方米。“天河二号”内存总容量1400万亿字节，存储总容量12400万亿字节。

参数

型号

天河二号型号为TH-IVB-FEP

处理器

16,000个运算节点，每节点配备两颗XeonE512核心的*处理器、三个XeonPhi57核心的协处理器（运算加速卡）。累计32,000颗XeonE5主处理器和48,000个XeonPhi协处理器，共312万个计算核心。

*处理器为英特尔提供的，运作时钟频率为2.2GHz的XeonE5-269212核心处理器，基于英特尔IvyBridge微架构（IvyBridge-EX核心），采用22纳米制程，峰值性能0.2112TFLOPS。

运算加速上，使用基于英特尔集成众核架构的XeonPhi31S1P协处理器，运行时钟为1.1GHz，每个使用61个核心中的57个（因为使用61个会存在运算周期协调问题），每核心籍由特殊的超线程技术能运作4个线程，产生峰值性能为1.003TFLOPS。

内存

每个节点拥有64GB主存，而每个XeonPhi协处理器板载8GB内存，故每节点共88GB内存，整体总计内存1.408PB。

外存

12.4PB容量的硬盘阵列

主板、机架、机柜

主板、机架与机柜均由浪潮集团制造，共有125个机柜，每个机柜容纳4个机架，每个机架容纳16块主板，每个主板设置有两个计算节点。每个机柜还装有负载指示灯，根据机柜内主机的运算负载变更发光二极管的发光颜色。

每块主板上分为APU模块和CPM模块两部分，APU部分承载5块XeonPhi，CPM部分承载1块XeonPhi+4颗XeonE5。

APU模块和CPM模块之间以CPU内部提供的PCI-E3.016x接口进行连接，但实际由于XeonPhi的硬件限制，仅支持至PCI-E2.016x，单通道数据传输速率为10Gbps。

前端处理器

计算节点前端处理器为4096颗FT-150016核心SPARCV9架构的处理器，40纳米制程，运作时钟频率1.8GHz，热设计功耗65瓦，峰值性能144GFLOPS。

连接

使用光电混合传输技术（OptoelectronicsHybridTransportTechnology），使用自制的THExpress-2主干拓扑结构网络连接，以13个大型路由器通过576个连接端口以光电传输介质与各个运算节点互联，控制器名为NRC，使用90纳米制程，单个控制器的数据吞吐量2.56Tbps，终端网络接口使用名为NIC的控制器，以PCI-E2.0接口链接，数据传送速率6.36GB/s。

操作系统

麒麟操作系统、基于SLURM（SimpleLinuxUtilityforResourceManagement，资源管理用单一Linux公用程序）的全局资源管理。

UbuntuLinux。（UbuntuOpenStack运行在256个高性能节点上，而且在接下来的数月将会增长至超过6400个节点。OpenStack和Ubuntu的编制工具Juju都将运行在天河二号上，使国防科技大学的合作伙伴和联盟机构能够快速部署和管理高性能云环境）。能耗

整机功耗17,808千瓦，在搭载水冷散热系统以后，功耗将达到24兆瓦，无论水冷系统的搭载与否，都是目前TOP500里功耗最大的以6月17日公布的数据推算，每瓦性能为1.901GFLOPS，仍不及泰坦的每瓦2.143GFLOPS和IBM红杉每瓦2.177GFLOPS的成绩，但比"京"的每瓦0.830GFLOPS每和天河一号每瓦仅0.668GFLOPS都要高不少。

参数概论分析

天河2由16000个浪潮的节点组成，每个节点有2颗基于IvyBridge-EXeonE52692处理器和3个XeonPhi,累计共有32000颗IvyBridge处理器和48000个XeonPhi,总计有312万个计算核心。

每个XeonPhi使用其中的57个核心，而不是使用全部的61个，因为使用61个在运算周期协调方面会有问题，而使用57个核心能够加速4个执行线程，并且在每个线程单周期可以达成4flops的运算量，运行在1.1GHz的XeonPhi可以生产1003Tflops的双精度运算能力。如果考虑CPU,2IvyBridge*0.2112Tflop/s+3XeonPhi*1.003Tflop/s=3.431Tflops,2个IvyBridge+3个XeonPhi单个节点可以有3.431Tflops运算能力，16000个节点总计可达54.9PFlops性能。每个运算节点有64GB主存、而每个XeonPhi板载8GB内存，因此每个节点共有88GB内存，总计16000个节点一共有1.404PB内存，而外部存储器容量方面更是高达12.4PB。

在每个主板上有2个计算节点，而每个框架则有16个主板，4个框架组成一个机柜，整个系统由125个机柜组成。每个计算节点主板分为两块，一块CPM一块APU,CPM上有4核IvyBridge、内存和一个XeonPhi,而APU基板上则承载着5个XeonPhi.CPM和APU之间有5个水平插入的链接口，由IvyBridge内置的PCI-E2.0进行连接，虽然IvyBridge内置为PCIExpress3.0接口，但XeonPhi仅支持2.0,单个通路为10Gbps带宽。

计算节点的前端处理器为4096个FT-1500处理器，FT-1500处理器是由国防科技大学为天河1研发，其可以说是天河1项目的最大收获，其为16核心的SparcV9架构处理器，在40nm工艺情况下运行频率为1.8Ghz,峰值性能为144Fflops/s,功耗为65W,但相比英特尔22nm12核2.2GHz211Gflops/s性能的IvyBridge还是有明显差距。

天河2互联方面采用自主研发的Express-2内部互联网络，其为有13个交换机，而每个交换机有576个端口。连接介质为光电混合。具体控制器是名为NRC的ASIC专用目的集成电路，其采用90nm工艺，封装尺寸为17.16x17.16mm,共有2577引脚。单个NRC的吞吐能力为2.56Tbps.而在终端方面网络接口也采用类似结构的NIC,但规模稍小，为10.76x10.76mm,675pin,其采用PCIE2.0方式连接，传输速率为6.36GB/s.并且在在12000节点的情况下延迟也很低，仅为85us。

而在计算能力方面，使用14336个节点总计50GB内存进行LINPACK测试，理论性能为49.19Pflops,而实际测试性能为30.65Pflops,效率为62.3%.这个效率并不算高，还有很大优化提升潜力。当然也可能是被Xeonphi仅支持PCIExpress2.0带宽不足限制。

上面测试使用了16000个节点中的14336个，运用了90%的规模，基本可以代表天河2的整体性能表现。天河2的性能部件（处理器、内存、互联）整体功耗为17.6MW,而整体的运算能力为30.65PFlops,这样计算每瓦的性能为1.935Gflops,这个性能/功耗比可以拍在超算TOP500的前五，其整体性能/功耗比十分出色。

系统的整体功耗为17.6MW,并且这个功耗还不包括水冷这样的散热系统，如果考虑上整体功耗将高达24MW,广州国家超算中心将采用城市供水系统构建高散热效能的冷却系统，有能力可以提供80KW系统的散热能力。

天河二号是当今世界上运算速度最快的超级计算机，综合技术处于国际领先水平。它有五大特点：一是高性能，峰值速度和持续速度都创造了新的世界纪录；二是低能耗，能效比为每瓦特19亿次，达到了世界先进水平；三是应用广，主打科学工程计算，兼顾了云计算；四是易使用，创新发展了异构融合体系结构，提高了软件兼容性和易编程性；五是性价比高。

天河二号超级计算机系统由170个机柜组成，包括125个计算机柜、8个服务机柜、13个通信机柜和24个存储机柜，占地面积720平方米，内存总容量1400万亿字节，存储总容量12400万亿字节，最大运行功耗17.8兆瓦。天河二号运算1小时，相当于13亿人同时用计算器计算一千年，其存储总容量相当于存储每册10万字的图书600亿册。相比此前排名世界第一的美国“泰坦”超级计算机，天河二号计算速度是“泰坦”的2倍，计算密度是“泰坦”的2.5倍，能效比相当。与该校此前研制的天河一号相比，二者占地面积相当，天河二号计算性能和计算密度均提升了10倍以上，能效比提升了2倍，执行相同计算任务的耗电量只有天河一号的三分之一。

3、自主创新

天河二号自主创新了新型异构多态体系结构，在强化科学工程计算的同时，可高效支持大数据处理、高吞吐率和高安全信息服务等多类应用需求，设计了微异构计算阵列和新型并行编程模型及框架，提升了应用软件的兼容性、适用性和易用性。天河二号服务阵列采用了国家核高基重大专项支持、该校研制的新一代“FT-1500”CPU，这是当前国内主频最高的自主高性能通用CPU。天河二号还在高速互连、新型层次式加速存储架构、容错设计与故障管理、综合化能效控制、高密度高精度结构工艺等方面取得了一系列创新和突破。

4、应用领域

天河二号已应用于生物医药、新材料、工程设计与仿真分析、天气预报、智慧城市、电子商务、云计算与大数据、数字媒体和动漫设计等多个领域，还将广泛应用于大科学、大工程、信息化等领域，为经济社会转型升级提供重要支撑。

5、对比优势

2013年5月，我国研制成功世界上首台5亿亿次(50PFlops)超级计算机——“天河二号”。这是国家863计划在“十二五”高效能计算机重大项目的阶段性成果。天河二号的双精度浮点运算峰值速度已达到了每秒5.49亿亿次，至于Linpack(国际上流行的用于测试高性能计算机浮点计算性能的软件)测试性能则已达到每秒3.39亿亿次。

由中国国防科技大学等单位研制的“天河二号”5亿亿次超级计算机，在体系结构、微异构计算阵列、高速互连网络、加速存储架构、并行编程模型与框架、系统容错设计与故障管理、综合化能耗控制技术以及高密度高精度结构工艺等方面，突破了一系列核心关键技术。

与2010年11月获得TOP500第一的天河一号相比，天河二号峰值计算速度和持续计算速度均提升10倍以上，计算密度(单位面积上的计算能力)提升了10倍以上，系统能效比(单位能耗的计算速度)是天河一号的3倍。

6、国际排名

2010年，中国国防科学技术大学研制的“天河一号”曾在第三十六届超级计算机TOP500榜单上名列第一，2011年时排名第二，2012年排名已下降至第五，我国凭借“天河二号”又重返冠军领奖台。

美国拥有全球500强超级计算机数量的一半以上。而*共有65个超级计算机进入TOP500的榜单上位居第二。而日本则以30个位列第三。世界上运算速度最快的超级计算机宝座一直被美国、中国、日本三国交替占据。英国、法国和德国分别以29个、23个和19个位列第四至第六位。

美国能源部下属橡树岭国家实验室的“泰坦”从上次第一名降至本次第二名，其运算速度为17.59千万亿次，而“天河二号”的运行速度比它快近一倍。据媒体预测，美国能够挑战“天河二号”的下一台超级计算机预计到2015年才能出现，但业内人士认为，“天河二号”的桂冠也许只能持续几个月，因为美国已经在研发下一代超级计算机。

全球超级计算机TOP500排名榜，是全球最权威的超级计算机榜单，以系统的Linpack实测速度为基准对超级计算机进行排名。

在2013年6月公布的全球超级计算机500强排行榜中，中国国防科学技术大学研制的“天河二号”以每秒33.86千万亿次的运算速度，成为全球最快的超级计算机。比美国能源部下属橡树岭国家实验室的“泰坦”的速度比近一倍。这是继2010年“天河一号”首次夺冠后，中国超级计算机再次夺冠。

目前（截止2013年），美国拥有全球500强超级计算机的一半以上，显示出明显的优势。*共有65个超级计算机进入500强榜单，位居第二。日本以30个位列第三。英国、法国和德国分别以29个、23个和19个位列第四至第六位。

在2014年6月23日公布的全球超级计算机500强榜单中，中国“天河二号”以比第二名美国“泰坦”快近一倍的速度连续第三次获得冠军。据介绍，天河二号运算1小时，相当于13亿人同时用计算器算1000年。

全球超级计算机TOP500组织2014年11月17日在美国正式发布了全球超级计算机500强最新排行榜，中国国防科技大学研制的“天河二号”超级计算机，以每秒33.86千万亿次的浮点运算速度，第四次摘得全球运行速度最快的超级计算机桂冠。