首台平方公里阵列区域中心原型机,了解一下
中国SKA区域中心原型照片来源:自然-天文学
平方公里阵列(SKA)射电望远镜是人类历史上最大的天文设备,预计将于2020年开始建造。作为创始成员国之一,中国不仅参与了该超级望远镜反射面天线的研究和开发,还积极准备建设区域中心。
最近,中国科学家成功开发了世界上第一个平方公里阵列(SKA)区域中心的原型。
"没有斯卡地区中心,就没有真正的斯卡科学研究."中国科学院上海天文台研究员陶安在接受《中国科学》杂志采访时表示,这项研究不仅有助于中国科学家优先获取重大科学项目的数据,从而把握创新突破的机遇,而且极大地提升了国内在超级计算和大数据相关领域的自主创新能力。
相关成果发表在《自然-天文学》上。
分担主站的数据处理压力。
宇宙从哪里来,它会去哪里?斯卡公司的建设和运营将为解决这些问题打开一扇窗。
与“中国天眼”FAST不同,SKA是一个由一系列小天线组成的巨大网络,也被称为合成孔径射电望远镜。它不仅可以直接成像,还可以获取大量数据,这就需要射电天文学家使用专门的软件进行处理,将数据转化为科学成果,并从数据中“看到”宇宙。
但是,SKA产生的数据量非常大,*数据处理中心的承载能力无法满足SKA完整的数据处理和存储要求。因此,建设多个区域性的科学和数据中心是必然的选择。
“斯卡公司的两个望远镜阵列分别位于南非和澳大利亚,而大多数其他成员国也希望将一些数据存储在北半球,以方便科学用户。”陶安补充道。
然而,区域中心不仅需要分担SKA观测站数据处理的总体压力,而且更重要的是,它们需要承受该区域用户的支持,以最大限度地发挥SKA的科学成就。
事实证明,不同的国家和地区有不同的科学研究水平,关注不同的学术领域,不同的科学任务需要不同的计算架构和软件环境。一旦*本土超级计算设备的设计得到巩固,它就缺乏灵活性。只有区域中心才能充分考虑用户的差异化需求。
区域中心原型的构建
这样一个区域性中心的技术要求和建设成本都很高,因此需要对关键设备等进行预研究,而原型建设是预研究的重要内容之一。
目前,虽然中国拥有“天河二号”和“神威太湖之光”等超级计算设备,但其计算能力无法满足神华庞大而复杂的数据处理需求。为了促进数据的国际共享,中部地区必须促进国际对等接入和提取,以实现宽带低延迟国际互联。所有这些无疑给样机的开发增加了难度。
陶安表示,中国斯卡地区中心的成功原型在其总体设计中充分考虑了各方面的需求。整个系统采用“软硬件协同设计”的思想,即根据应用程序的特点,选择合适的硬件和软件组件,以有限的功耗获得最佳性能。
这次开发的样机在计算、存储和网络三大模块上有所创新。计算模块采用新的数据岛架构,执行框架根据任务需求将整个数据中心划分为若干个小区域或多个子数据中心。它不仅可以独立执行数据处理任务,还可以根据需求灵活地重组资源,以满足SKA多任务并行处理的要求。
此外,中国斯卡地区中心的原型也首次使用了华为鲲鹏处理器,基准测试表明该服务器的整体性能非常出色。
然而,在处理SKA导航望远镜的测量数据时,原型机会遇到实际问题,其中一些问题可能是事先无法预测的,这为今后在中国建设完整的SKA区域中心提供了宝贵的经验。陶安说,原型的另一个任务是测试软件和算法,并研究这些软件在大型集群上的可伸缩性。“例如,我们和国际合作团队在美*会(世界上最快的超级计算机)上进行大规模实验之前,对原型做了大量测试。”
他指出,计算和存储设备的不同组合应针对不同的科学用户和不同的科学需求进行定制,以便区域中心能够充分发挥其最大效率,同时还应考虑经济运行成本。
地区中心不仅仅是被高估了。
事实上,中国并没有在一大早就参与斯卡地区中心的原型研究。世界上许多国家很早就开始了对SKA科学数据处理器的研究。然而,受各国实际情况的影响,上海天文台成功开发了中国的SKA区域中心原型,成为世界上第一个SKA区域中心原型。
中国科学院上海天文台研究员洪小玉表示,这主要得益于中国领先的超级计算能力和不断增长的综合科技实力,这为中国SKA区域中心数据处理平台的建设奠定了重要基础。
区域中心只是超级计算吗?答案是否定的。与满足一般需求的传统国家超级计算相比,中国的SKA区域中心对系统架构、业务目标和技术挑战提出了更高的挑战。
首先,SKA地区中心的中心是数据处理而不是计算。SKA数据的操作和管理主要基于数据驱动的工作流模式。巨大的数据流对输入输出带宽、单服务器存储容量和存储介质性能提出了极高的要求,而这些并不是国家超级计算的主流业务类型。
其次,计算平台是一个专门设计的异构系统。与强调节点同构以支持大规模操作或提供通用计算服务的传统国家超级计算不同,SKA区域中心需要支持许多具有不同科学目标的科学工作组。它的软件特性千差万别,不适合使用同构通用服务的超级计算中心进行携带。
洪小玉告诉《中国科学日报》,中国的斯卡地区中心是国际斯卡地区中心体系的关键节点。它不仅承担第一级数据的接收、计算、管理和归档(每年100 PB左右),还需要与其他区域中心进行数据交换和协作。它还依赖于科学软件的研发和科学用户的长期服务支持,这是无法与通用的国家超级计算相比的。
总的来说,区域中心不仅承担着计算和存储的国际义务,更重要的是承担着开发SKA数据处理软件和培养中国SKA第一梯队科研人才的重要任务。
“一旦中国的斯卡地区中心建成,这意味着中国科学家可以轻松利用数据产生科学成果,并吸引国际合作伙伴来中国进行科学研究和交流,而无需出国。”陶安表示,下一步,该团队将逐步向国内外用户开放,以支持天文学家使用原型机分析和处理SKA导航望远镜数据。
相关论文信息:https://doi.org/10.1038/s41550-019-0943-4