基本简介

天河二号由中国国防科学技术大学研制的超级计算机系统，以峰值计算速度每秒5.49亿亿次、持续计算速度每秒3.39亿亿次双精度浮点运算的优异性能位居榜首，成为全球最快超级计算机。

 系统组成

天河二号天河2由16000个浪潮的节点组成，每个节点有2颗基于Ivy Bridge-E Xeon E5 2692处理器和3个Xeon Phi,累计共有32000颗Ivy Bridge处理器和48000个Xeon Phi,总计有312万个计算核心。

每个Xeon Phi使用其中的57个核心，而不是使用全部的61个，因为使用61个在运算周期协调方面会有问题，而使用57个核心能够加速4个执行线程，并且在每个线程单周期可以达成4flops的运算量，运行在1.1GHz的Xeon Phi可以生产1003 Tflops的双精度运算能力。如果考虑CPU,2 Ivy Bridge * 0.2112 Tflop/s + 3 Xeon Phi * 1.003 Tflop/s=3.431 Tflops,2个Ivy Bridge+3个Xeon Phi单个节点可以有3.431 Tflops运算能力，16000个节点总计可达54.9PFlops性能。每个运算节点有64GB主存、而每个Xeon Phi板载8GB内存，因此每个节点共有88GB内存，总计16000个节点一共有1.404 PB内存，而外部存储器容量方面更是高达12.4PB.

在每个主板上有2个计算节点，而每个框架则有16个主板，4个框架组成一个机柜，整个系统由125个机柜组成。每个计算节点主板分为两块，一块CPM一块APU,CPM上有4核Ivy Bridge、内存和一个Xeon Phi,而APU基板上则承载着5个Xeon Phi.CPM和APU之间有5个水平插入的链接口，由Ivy Bridge内置的PCI-E 2.0进行连接，虽然Ivy Bridge内置为PCI Express 3.0接口，但Xeon Phi仅支持2.0,单个通路为10Gbps带宽。

计算节点的前端处理器为4096个FT-1500处理器， FT-1500处理器是由国防科技大学为天河1研发，其可以说是天河1项目的最大收获，其为16核心的Sparc V9架构处理器，在40nm工艺情况下运行频率为1.8Ghz,峰值性能为144 Fflops/s,功耗为65W,但相比英特尔22nm 12核 2.2GHz 211Gflops/s性能的Ivy Bridge还是有明显差距。

天河2互联方面采用自主研发的 Express-2 内部互联网络，其为有13个交换机，而每个交换机有576个端口。连接介质为光电混合。具体控制器是名为NRC的ASIC专用目的集成电路，其采用90nm工艺，封装尺寸为17.16x17.16 mm,共有2577引脚。单个NRC的吞吐能力为2.56Tbps.而在终端方面网络接口也采用类似结构的NIC,但规模稍小，为10.76x10.76 mm, 675 pin,其采用PCIE 2.0方式连接，传输速率为6.36GB/s.并且在在12000节点的情况下延迟也很低，仅为85us.

而在计算能力方面，使用14336个节点 总计50GB内存进行LINPACK测试，理论性能为49.19Pflops,而实际测试性能为30.65Pflops,效率为62.3%.这个效率并不算高，还有很大优化提升潜力。当然也可能是被Xeon phi仅支持PCI Express 2.0带宽不足限制。

上面测试使用了16000个节点中的14336个，运用了90%的规模，基本可以代表天河2的整体性能表现。天河2的性能部件（处理器、内存、互联）整体功耗为17.6MW,而整体的运算能力为30.65PFlops,这样计算每瓦的性能为1.935Gflops,这个性能/功耗比可以拍在超算TOP500的前五，其整体性能/功耗比十分出色。

系统的整体功耗为17.6 MW,并且这个功耗还不包括水冷这样的散热系统，如果考虑上整体功耗将高达24MW,广州国家超算中心将采用城市供水系统构建高散热效能的冷却系统，有能力可以提供80KW系统的散热能力。

天河二号是当今世界上运算速度最快的超级计算机，综合技术处于国际领先水平。它有五大特点：一是高性能，峰值速度和持续速度都创造了新的世界纪录；二是低能耗，能效比为每瓦特19亿次，达到了世界先进水平；三是应用广，主打科学工程计算，兼顾了云计算；四是易使用，创新发展了异构融合体系结构，提高了软件兼容性和易编程性；五是性价比高。

天河二号超级计算机系统由170个机柜组成，包括125个计算机柜、8个服务机柜、13个通信机柜和24个存储机柜，占地面积720平方米，内存总容量1400万亿字节，存储总容量12400万亿字节，最大运行功耗17.8兆瓦。天河二号运算1小时，相当于13亿人同时用计算器计算一千年，其存储总容量相当于存储每册10万字的图书600亿册。相比此前排名世界第一的美国“泰坦”超级计算机，天河二号计算速度是“泰坦”的2倍，计算密度是“泰坦”的2.5倍，能效比相当。与该校此前研制的天河一号相比，二者占地面积相当，天河二号计算性能和计算密度均提升了10倍以上，能效比提升了2倍，执行相同计算任务的耗电量只有天河一号的三分之一。

主要性能

天河二号自主创新了新型异构多态体系结构，在强化科学工程计算的同时，可高效支持大数据处理、高吞吐率和高安全信息服务等多类应用需求，设计了微异构计算阵列和新型并行编程模型及框架，提升了应用软件的兼容性、适用性和易用性。天河二号服务阵列采用了国家核高基重大专项支持、该校研制的新一代“FT-1500”CPU，这是当前国内主频最高的自主高性能通用CPU。天河二号还在高速互连、新型层次式加速存储架构、容错设计与故障管理、综合化能效控制、高密度高精度结构工艺等方面取得了一系列创新和突破。

技术参数

在五月底在长沙举办的国际HPC大会上，国防科技大组员公布了天河2的详细信息[3]

天河二号参数细则

型号

天河二号型号为TH-IVB-FEP

处理器

16,000个运算节点，每节点配备两颗Xeon E5 12核心的中央处理器、三个Xeon Phi 57核心的协处理器（运算加速卡）。累计32,000颗Xeon E5主处理器和48,000个Xeon Phi协处理器，共312万个计算核心。

中央处理器为英特尔提供的，运作时钟频率为2.2GHz的Xeon E5-2692 12核心处理器，基于英特尔Ivy Bridge微架构（Ivy Bridge-EX核心），采用22纳米制程，峰值性能0.2112TFLOPS。

运算加速上，使用基于英特尔集成众核架构的Xeon Phi 31S1P协处理器，运行时钟为1.1GHz，每个使用61个核心中的57个（因为使用61个会存在运算周期协调问题），每核心籍由特殊的超线程技术能运作4个线程，产生峰值性能为1.003TFLOPS。

内存

每个节点拥有64GB主存，而每个Xeon Phi协处理器板载8GB内存，故每节点共88GB内存，整体总计内存1.408PB。

外存

12.4PB容量的硬盘阵列

主板、机架、机柜

主板、机架与机柜均由浪潮集团制造，共有125个机柜，每个机柜容纳4个机架，每个机架容纳16块主板，每个主板设置有两个计算节点。每个机柜还装有负载指示灯，根据机柜内主机的运算负载变更发光二极管的发光颜色。

每块主板上分为APU模块和CPM模块两部分，APU部分承载5块Xeon Phi，CPM部分承载1块Xeon Phi+4颗Xeon E5。

APU模块和CPM模块之间以CPU内部提供的PCI-E 3.0 16x接口进行连接，但实际由于Xeon Phi的硬件限制，仅支持至PCI-E 2.0 16x，单通道数据传输速率为10Gbps。

前端处理器

计算节点前端处理器为4096颗FT-1500 16核心SPARC V9架构的处理器，40纳米制程，运作时钟频率1.8GHz，热设计功耗65瓦，峰值性能144GFLOPS。

连接

使用光电混合传输技术（Optoelectronics Hybrid Transport Technology），使用自制的TH Express-2主干拓扑结构网络连接，以13个大型路由器通过576个连接端口以光电传输介质与各个运算节点互联，控制器名为NRC，使用90纳米制程，单个控制器的数据吞吐量2.56Tbps，终端网络接口使用名为NIC的控制器，以PCI-E 2.0接口链接，数据传送速率6.36GB/s。

操作系统

麒麟操作系统、基于SLURM（Simple Linux Utility for Resource Management，资源管理用单一Linux公用程序）的全局资源管理。

Ubuntu Linux。（Ubuntu OpenStack运行在256个高性能节点上，而且在接下来的数月将会增长至超过6400个节点。OpenStack和Ubuntu的编制工具Juju都将运行在天河二号上，使国防科技大学的合作伙伴和联盟机构能够快速部署和管理高性能云环境）

能耗

整机功耗17,808千瓦，在搭载水冷散热系统以后，功耗将达到24兆瓦，无论水冷系统的搭载与否，都是目前TOP500里功耗最大的

以6月17日公布的数据推算，每瓦性能为1.901GFLOPS，仍不及泰坦的每瓦2.143GFLOPS和IBM红杉每瓦2.177GFLOPS的成绩，但比"京"的每瓦0.830GFLOPS每和天河一号每瓦仅0.668GFLOPS都要高不少。

应用领域

天河二号天河二号已应用于生物医药、新材料、 工程设计与仿真分析、天气预报、智慧城市、电子商务、云计算与大数据、数字媒体和动漫设计等多个领域，还将广泛应用于大科学、大工程、信息化等领域，为经济社会转型升级提供重要支撑。

天河二号逐步在生命科学、材料科学、大气科学、地球物理、宇宙、经济学，以及大型基因组组装、基因测序、污染治理等一系列事关国计民生的大科学、大工程中“大显身手”。此外，国家超算广州中心积极推动国际交流与合作，利用天河二号为国外研究机构提供高性能计算服务。

据悉，科技部近年不断加大对超算应用软件研发的投入。“十二五”以来的相关研发投入已超过2亿元。预计“十三五”期间投入将进一步加大。

根据该专项“面向大规模科学计算的高性能多核CPU”课题计划安排，2011年中国将采用FT-1500CPU构建全自主国产千万亿次计算机——“天河二号”。[1]

2009年，中国首台千万亿次计算机“天河一号”研制成功，运行“核高基”专项支持研制的银河麒麟操作系统，名列当年的国际超级计算机TOP 500排行榜世界第五位、亚洲第一位的排名，并使中国成为继美国之后世界上第二个能够研制千万亿次超级计算机的国家。

相对于上世纪颇负盛名的"两弹一星"。"核高基"专项被誉为中国新时期的"两件(核心电子器件、基础软件)一芯(高端通用芯片)"，主要涵盖了核心的电子器件、高端通用芯片、基础软件产品三个方向；掌握其关键技术并实现产业化对于中国实现以信息化带动工业化、确保国家信息安全至关重要。

在高端通用芯片方向，"核高基"专项重点部署了高性能服务器多核CPU、安全适用计算机CPU及嵌入式CPU；在基础软件产品方向，重点部署了操作系统、数据库、办公软件、中间件、重大信息化应用等基础软件。

前景展望

天河二号目标是到2020年，形成中国高端通用芯片和基础软件产品的自主研发与产业体系。面向3G移动通信网络的智能手机嵌入式软件平台以及3G应用网络化运行平台的研发及产业化，"核高基"专项安排了"智能手机嵌入式软件平台研发及产业化"和"面向新型网络应用模式的网络化操作系统"课题，已经取得较大进展。

运算速度以每秒千万亿次计算的超级计算机“天河二号”将进驻广州，它将如何影响我们的生活？国防科学技术大学计算机学院副院长、天河二号工程副总指挥、天河超级计算机系统新闻发言人李楠做客市科信局举办的“珠江科学大讲堂”。

应用多与国家重大工程相关

“所谓超级计算机，就是在同时代里，运算速度达到最高级别的大容量巨型计算机！”李楠比喻：“比如，使用千万亿次超级计算机计算1小时，相当于13亿人同时用计算器计算20年。”

李楠介绍，超级计算机有五个超级，就是速度超级快、容量超级大、体积超级大、耗电超级多、造价超级贵。“目前，超级计算机的应用已与国计民生密不可分。它的应用多与国家重大工程相关，比如日本的‘京’，主要用于地震海啸预测、生命科学、新药研制，而美国的‘泰坦’主要用于研究气候变迁、核研究、材料科学等等。”

“超级计算机已经变成‘国之重器’，世界各国在超级计算机的研制上竞争激烈。”据介绍，2010年时，我国研制的首台千万亿次超级计算机“天河一号”曾在全球TOP 500超级大型计算机排行榜中排名第一，但在2011年时被日本最新研发的超级计算机“京”超越了。到了2012年，美国的“泰坦”又超越了日本的“京”。

可大大提高天气预报准确率

李楠还向在场听众介绍：“超算中心的进驻与老百姓生活也有很大关系。比如超算在天气中的应用，可以大大提高天气预报的准确率，又比如在娱乐产业的应用，阿凡达的电影中，超过三分之二的人物与景象都是通过超级计算机计算出来的。”

研究进展

天河二号从2010年11月14日天河一号排名世界第一到2013年6月17日天河二号再登世界超算之巅，从天河一号4.7千万亿次到天河二号5.49亿亿次，从超级计算机由千万亿次级(1015)迈入亿亿次级(1016)计算速度，这是国防科技大学天河团队再次创造的“中国速度”！

天河二号取得了一系列技术创新和突破，涉及到体系结构、芯片技术、高速互连、存储架构、编程模型、能耗控制、系统管理、结构工艺等诸多方面，使得天河二号综合技术取得了国际领先地位。在研制过程中，我们立足自主创新，突破亿亿次级超级计算机系统的一系列核心关键技术，使国产超级计算机自主创新、自主可控能力显著提升。”谈起天河二号的优越性能，天河二号工程总指挥、总设计师廖湘科研究员说：“与国外同类先进超级计算机系统相比，天河二号的计算速度领先，互连技术领先，计算密度领先，应用面更广。”

天河二号的体系结构设计，创新发展了天河一号“异构协同计算”的技术路线。自主创新的新型异构多态体系结构、新一代高性能通用CPU、高速互连技术、新型层次式加速存储架构等，可高效支撑大数据处理、高吞吐率和高安全的信息服务等多领域应用。

高吞吐率和高安全信息服务功能主要是由国家核高基重大专项支持、该校自主研制的新一代FT-1500CPU来完成的。这是当前国内主频率最高的自主高性能通用CPU。1片FT-1500计算1小时，相当于1亿人同时计算60天。

“中国创造”在天河二号上比比皆是，涌现了多个国际领先和国际先进——基于自主通信接口芯片和互连交换芯片设计实现了光电混合的自主定制高速互连系统，性能是当前国际上最先进的商用互连系统的2倍；继续保持国际领先地位；采用综合化的能耗控制机制，能效比进入国际先进行列；设计实现了基于背板前后对插、水平盲插的高密度高精度组装结构，使得天河二号的计算密度处于国际领先水平……以高密度高精度结构工艺为例，天河二号共170个机柜，占地面积与天河一号基本相同，但性能却是它的11.6倍。与此前排名世界第一的美国“泰坦”系统相比，占地面积是它的85%，性能是它的两倍。[2]

研发经费

天河二号“天河二号”的系统存储总容量相当于600亿册每册10万字的图书。假设每人每秒钟进行一次运算，“天河二号”运算一小时，相当于 13亿人同时用计算器算上1000年。

和“天河一号”相比，“天河二号”在核心指标方面有了大幅提升；它的峰值速度和持续速度都比“天河一号”提高了10倍以上，而两者的占地面积相当。另外对于执行相同的计算任务，“天河二号”的耗电量只有“天河一号”的1/3。这意味着“天河二号”有能力去解决一些过去“天河一号”所不能解决的问题。比如回溯地球上的气候变迁历史；“天河一号”可以模拟到2000年前的气候变化，但“天河二号”则可以模拟到5000年前甚至更远；传统手段研发新车一般要经过上百次碰撞实验，历时两年多才能完成；而利用“天河二号”进行模拟只需3到5次实车碰撞、两个月即可实现。

“天河二号”由280人历时两年多研制完成，耗资约1亿美元。2013年下半年，它将在广州超级计算中心投入运行，其先导系统已开始为生物医药、新材料等领域用户提供服务。

广州市科技和信息化局副局长吴奇泽表示，“天河二号”不仅将成为“智慧广州”的心脏和大脑，还要服务于珠三角、港澳地区和整个中国。

应用能力

天河二号应用能力与美国差距大

我国从上世纪70年代末开始进行超级计算机领域的研究，随着我国改革开放的日益深化、国际合作日益加强，我国超级计算机系统研发已进入世界领先行列。

我国国家级超算中心主要有天津中心、济南中心、长沙中心、深圳中心以及正在建设中的广州超算中心。虽然这些超算中心已经在我国科技和经济建设领域发挥重要作用，但研发人员认为，“如果我们能把超算的应用充分地挖掘培养起来，现有的超算中心不是多了而是少了。”因为与美国等一些国家相比，在产业能力和应用水平等方面还有较大差距。超级计算机的应用涉及到各行各业，需要很多学科的深度学科背景和专业人才，才能将该领域的大型软件开发出来。

交付使用

将交付广州超算中心使用

正如中科院计算机网络信息中心超级计算中心主任迟学斌所言:“我们超级计算机内部的很多部件还是依赖美国，所以我们也应该更加注重应用等方面的投入。

作为广州超级计算中心的主机，“天河二号”将在2013年下半年安装交付。两年前开始在天津超级计算中心运行的“天河一号”至今已有600多家用户，中心主任刘光明介绍说：在“天河二号”研制成功后，有很多老用户迫不及待地提出新的使用申请。虽然能耗、编程等仍然是通向更大规模机器的技术障碍，但国防科大宣布，将在2015年研制出十亿亿次超级计算机，2020年前后研制出百亿亿次计算机。

所获荣誉

排名第一

2010年，中国国防科学技术大学研制的“天河一号”曾在第三十六届超级计算机TOP500榜单上名列第一，2011年时排名第二，2012年排名已下降至第五，我国凭借“天河二号”又重返冠军领奖台。

美国拥有全球500强超级计算机数量的一半以上。而中国大陆共有65个超级计算机进入TOP 500的榜单上位居第二。而日本则以30个位列第三。世界上运算速度最快的超级计算机宝座一直被美国、中国、日本三国交替占据。英国、法国和德国分别以29个、23个和19个位列第四至第六位。

美国能源部下属橡树岭国家实验室的“泰坦”从上次第一名降至本次第二名，其运算速度为17.59千万亿次，而“天河二号”的运行速度比它快近一倍。据媒体预测，美国能够挑战“天河二号”的下一台超级计算机预计到2015年才能出现，但业内人士认为，“天河二号”的桂冠也许只能持续几个月，因为美国已经在研发下一代超级计算机。

全球超级计算机TOP500排名榜，是全球最权威的超级计算机榜单，以系统的Linpack实测速度为基准对超级计算机进行排名。

2013年，在德国莱比锡举办的2013年度全球超级计算机技术大会，负责调查有关全球各国研发大型超级计算机排行情况的国际大型超级计算机TOP 500组织，公布了最新全球超级计算机TOP 500强排行榜榜单；在本次大会上由中国政府国家科技部与中国国防科学技术大学共同研制的名为“天河二号（”又称银河2号）的大型超级计算机以每秒33.86千万亿次的浮点运算速度成为全球最快的超级计算机。

大会的主办方在大会的新闻发布会上向全世界的媒体公布了有关2013年上半年所做的第一次TOP 500调查结果。据此次调查的报告结果显示；计算机，其运行时的平均速度跑出了33.86PFlops的惊人纪录，比原来当今世界上最快的那台来自美国能源部橡树岭国家实验室研发的“泰坦”在速度上还要快上74%！

对比优势

2013年5月，我国研制成功世界上首台5亿亿次(50PFlops)超级计算机——“天河二号”。这是国家863计划在“十二五”高效能计算机重大项目的阶段性成果。天河二号的双精度浮点运算峰值速度已达到了每秒5.49亿亿次，至于Linpack(国际上流行的用于测试高性能计算机浮点计算性能的软件)测试性能则已达到每秒3.39亿亿次。

由中国国防科技大学等单位研制的“天河二号”5亿亿次超级计算机，在体系结构、微异构计算阵列、高速互连网络、加速存储架构、并行编程模型与框架、系统容错设计与故障管理、综合化能耗控制技术以及高密度高精度结构工艺等方面，突破了一系列核心关键技术。

与2010年11月获得TOP500第一的天河一号相比，天河二号峰值计算速度和持续计算速度均提升10倍以上，计算密度(单位面积上的计算能力)提升了10倍以上，系统能效比(单位能耗的计算速度)是天河一号的3倍。

获“三连冠”

天河二号2014年6月，由国防科技大学研制并落户国家超级计算广州中心的天河二号超级计算机，23日再次荣登全球超级计算机500强排行榜榜首，获得世界超算“三连冠”。天河二号超级计算机是国防科技大学承担的国家“863”计划和“核高基”国家科技重大专项项目。

此次夺冠，是天河系列超级计算机第四次问鼎世界超算之巅。2010年，天河一号让中国人首次站到了超级计算机的全球最高领奖台上。

超级计算机性能的提高，以服务国家经济社会建设和改善民生为最终目的。目前，天河二号超级计算机在国家超算广州中心已正式投入运行，为120多家用户提供了300多项典型应用计算。同时，为用户培训了一批超算应用技术人才。

天河二号运算1小时，相当于13亿人同时用计算器算1000年。

借助天河二号的“计算神功”，国产C919大型客机开展了高精度外流场气动计算；中科院上海药物研究所开展了75万个小分子化合物的结合亲和力评估，完成了600多个各类药物的体内外活性测试评价。天河二号适配了广州市电子政务数据管理系统和云盘存储系统等，为智慧城市建设搭建高效可靠的承载平台……