[转]高性能计算:机群显功夫 应用推动市场

[转]高性能计算:机群显功夫 应用推动市场


发布日期: 1970-01-01 更新日期: 2015-02-02 编辑:giser 浏览次数: 3507

标签:

摘要: 机群的出现,降低了高性能计算的门槛,也使得国内企业能迅速赶超国际知名企业。然而机群发展到今天,下面的路该怎么走?高性能计算怎样和用户的应用需求结合起来 ,则是所有厂商必须认真考虑的问题。 从TOP100谈起 TOP500和TOP100是近年来高性能计算...

机群的出现,降低了高性能计算的门槛,也使得国内企业能迅速赶超国际知名企业。然而机群发展到今天,下面的路该怎么走?高性能计算怎样和用户的应用需求结合起来 ,则是所有厂商必须认真考虑的问题。

从TOP100谈起

TOP500和TOP100是近年来高性能计算领域最热门的两个词。前者代表了全球高性能计算机的最高水平,后者则是国内高性能计算机水平的象征。这几年,随着联想深腾1800、联想深腾6800、曙光4000A等国产超级计算机在TOP500的上佳表现,TOP100正在一步步缩小和TOP500的差距。

前不久,由中国软件行业协会数学软件分会和国家863高性能计算机评测中心共同评选的《2004年中国高性能计算机性能
TOP100排行榜》正式揭晓,国内外主流高性能服务器品牌纷纷上榜。其中,惠普、联想和IBM分别以56套、19套和11套分列一、二、三位。惠普在商用领域占统治地位,而联想则在科学计算市场领先群雄。

从我国高性能计算的市场发展来看,继2003年的快速增长之后,2004年国内高性能计算市场继续强劲增长。2004年中国高性能计算机TOP100排名,则从一个侧面反映了这种增长趋势。

从装机总性能来看,2004年中国TOP100高性能计算机的总性能是53Tflops,是2003年总性能的2.69倍(2003年为
19.68Tflops);从地理分布上来看,入围TOP100的高性能计算机产品遍布国内21个省市,说明2004年高性能应用正在全国范围内迅速展开。

与此同时,在整个TOP100中,国内外品牌之间的博弈无疑是最引人关注的,以联想、曙光、浪潮为代表的国内品牌,不仅打破了国内高性能计算机市场国外产品一统天下的格局,而且表现出强劲增长的势头。联想有19套机群入围TOP100,继续成为国内第一大HPC供应商。

尽管近几年中国高性能计算机市场增长迅猛,但目前仅占整个中国计算机市场不到5%的份额,而美国高性能计算机占其整个计算机市场的30%以上。由此看来,中国高性能计算机市场潜力巨大,前景光明,未来几年仍将保持高速的增长势头。这也和近年来我国经济持续稳定增长密切相关。

从高性能计算机的技术发展来看,最新的全球TOP500和国内TOP100均表明,机群仍然会是目前和未来几年高性能计算机的主流体系结构,机群在未来数年内还将继续统治全球高性能计算机市场。

应该说,机群迅速崛起并成为高性能计算机主流,为国内企业与国际大公司平等竞争提供了一个不可多得的机遇。以曙光、联想、浪潮为代表的国内服务器厂商很好地认识到并抓住了这一机遇,在机群方面进行了富有成效的积累和创新。

“目前在高性能计算机领域,像联想这样的国内厂商,与国际大公司基本处于同样的一个水平线上。在某些技术领域,如机群系统设计与优化、机群系统软件、机群基础架构、机群应用优化等方面,联想甚至领先于国际大公司。”联想集团高性能服务器事业部技术总监肖利民博士在接受记者采访时表示。

机群的生命力有多久?

回首高性能计算的发展,二十世纪八、九十年代是高性能计算机丰富多彩的时期,各种体系结构的系统争奇斗艳。进入二十一世纪后,高性能计算机产业逐渐成熟,用户面大大扩大,技术也不断聚焦。

目前,高性能计算机的主流体系结构收缩成了三种,即SM、CC-NUMA、Cluster。在产品上,只有两类产品具有竞争力:一是高性能共享存储系统,如IBM690、SUN Enterprise15000、SGI Origin3800;二是工业标准机群,包括以IA架构标准服务器为节点的PC机群和以RISC SMP标准服务器为节点的RISC机群。

当前,对高性能计算机产业影响最大的就是“工业标准机群”了,这也反映了标准化在信息产业中的巨大杀伤力。工业标准机群采用量产的标准化部件构成高性能计算机系统,极大地提高了性能价格比,从科学计算开始逐渐应用到各个领域。

其中,推动这一趋势形成的三个核心技术是Intel Xeon处理器、Linux操作系统和Myrinet互连网络。现在,搭建机群已变得轻而易举。各种指导搭建机群的书籍很多,在一些大学里,老师和学生按照这些指导书籍,就能搭建起试验用的机群系统。

就工业标准机群而言,是否已经完善,再没新技术可供研究了呢?显然不是。这一技术路线只解决了方便、廉价地组合系统这一问题,未解决的问题很多。现在的困惑是:以前是“三角形”技术路线,部件在下面,顶端是系统,用峰值或Linpack就能清楚地表述结果;现在是“放射状”技术路线,不同的技术解决不同应用的问题,将系统做为一个整体,缺乏新的衡量指标。这也说明,目前高性能计算研究在技术突破上几乎处于停滞状态。

这就不得不引出“第三代机群”这个概念。如果将1980年代的Vax机群称为第一代机群,那么1994年推出的IBM SP2就是第二代机群的起点。随后近十年,第二代机群获得了飞速发展。机群操作系统、商品化高速互联网络、高可用软件、机群文件系统等技术取得了很大的进步。今后几年,人们将看到第三代机群的出现,它将着力解决这些问题,如功耗效益,成本效益,空间效益,应用效益,单一系统映像与带宽、吞吐率的矛盾,对网络计算与广泛普及的支持(即面向网格的超级服务器)等。届时,机群的生命力或许会更加旺盛。

综合体系保驾行业应用

在科学计算应用方面,不同行业和领域的不同应用具有不同的特点。因此,应用对高性能计算机产品及服务的要求也各不相同。即使同一行业的不同应用之间,其需求也不尽相同。

比如说,在石油领域,涉及科学计算的应用主要有地震资料处理、油藏模拟、数字油田等等,其业务应用系统对产品的稳定性和服务的及时性等方面,都有很高的要求。即使同属于石油行业应用的地震资料处理和油藏模拟,对高性能计算机的通信性能和计算能力上的需求,又各有侧重和不同。

为了更好地满足行业应用复杂多样的需求,厂商除了向行业用户提供可定制的产品外,还建立了包括行业应用软件研发、调试、优化以及行业复合型人才培养的综合体系。

在石油行业,联想就与ParaDIGM、西方地球物理公司等第三方ISV以及中石化、中石油等石油业务公司合作,基于联想高性能服务器产品,开展了地震资料处理、油藏模拟、数字油田等方面的应用移植、优化和开发。

曙光4000A运到上海超级计算中心后,只用了10天时间就完成整个系统的安装调试,恢复正常运行。在最近两个月的试算与应用软件测试移植过程中,几百个节点没有换一块主板,系统的可靠性、稳定性超出了人们的预料。这充分证明,我国自己研制生产的高性能计算机,不仅性能价格比高于国外同类机器,而且其综合服务体系完全能保证大规模应用的连续性和稳定性。

曙光信息产业有限公司产品部总经理邵宗有认为,我国在超级计算机方面与国外最大的差距在应用。在刚完成不久的国家中长期科技发展战略研究报告中,有关专家已建议把高性能计算机的战略性应用,作为我国发展信息技术的重要任务之一。在曙光和上海超算中心以及计算所的共同努力下,曙光4000A已经把我国超级计算机的应用,提高到了一个新的水平,真正发挥出计算机这一最有活力的“第一生产力”的作用。

关注公众号
获取免费资源

随机推荐


Copyright © Since 2014. 开源地理空间基金会中文分会 吉ICP备05002032号

Powered by TorCMS

OSGeo 中国中心 邮件列表

问题讨论 : 要订阅或者退订列表,请点击 订阅

发言 : 请写信给: osgeo-china@lists.osgeo.org