超算发展的加速引擎 大模型推理成ASC24赛题 (超算的发展情况)

文章编号:41981 资讯动态 2024-12-03 大模型超算ChatGPT
超算发展的加速引擎

谈到超算,最早可追溯到1929年,彼时,超级计算(Supercomputing)的概念首次出现在《纽约世界报》的报道中,并对今后科技的发展起着至关重要的作用。随后,国内外对超算的研究进入到了如火如荼的阶段。

人材是创新的源泉,也是技术发展的主导力量,为了给中国超算产业持续储备、输送更多优秀的技术人才,2012年,中国提议并成立了ASC世界大学生超级计算机竞赛,该活动与日本、俄罗斯、韩国、新加坡、泰国、中国台湾、中国香港等国家和地区的超算专家和机构共同发起并组织,并得到美国、欧洲等国家地区超算学者和组织的积极响应支持。

至今,ASC已经走过12个年头,已经发展为全球最大规模的大学生超算竞赛,超过上万名大学生人才走入ASC,跨进超算的大门,通过以赛代学以赛促练快速成长,融为了产业创新的新鲜血液。

随着超算技术不断发展,中国超算应用领域也在不断拓展,人才培养也得到产学研界的用心扶持。近几年来,我国超算产业的发展取得了不错的成绩。

规模方面,据Frost & Sullivan的调研数据显示,2016-2021年中国超算服务市场规模的复合增长率达24.7%,其中,2021年市场规模为196.6亿元,2022年增速约24.5%,由此推算,2022年中国超算服务市场规模约244.8亿元。

性能方面,中国超级计算平均性能已经从2013年的573 Tflops升至2022年的8999 Tflops。其中,2022年超级计算机最高性能达208260 Tflops,较2021年的最高性能提升了66.55%。

同时,结合超算近两年的发展态势,Frost & Sullivan也预测道,2022-2025年中国超算服务市场规模复合增速约24.1%,若持续保持这一增速发展,到2028年,中国超算服务市场规模将接近900亿元。

缘何能保持如此高速的增长?

如果从今年科技界的发展动向看,大模型就是最好的“加速器”。

对此,一位超算行业的专业人士也曾提到,随着2022年底ChatGPT的流行带动,算力已成为大模型训练的重要基础设施,国内外纷纷建设由高端芯片组成的大规模算力集群。大模型训练与推理为超算带来了巨大机遇,据OpenAI估算,目前大模型训练对算力的需求大约每3至4月翻一倍,远超摩尔定律18至24个月翻倍的速度。

毫无疑问,大模型的发展确实能在很大程度上,带动算力乃至超算产业的发展,但是其背后是对人才提出了更为严苛的要求。诸如,如何加速大模型的训练速度?如何提升大模型的训推性能?以及如何降低计算成本等这些问题都需要人来完成。

正如上海大学计算机工程与科学学院院长谢少荣所言,大模型给我们带来机遇的同时,也带来了巨大的挑战,大模型对算力的需求不断激增,随之而来对人才也提出了新的要求,如何培养更高质量的人才,就成了重要的研究课题。

基于此,近日,2024 ASC世界大学生超级计算机竞赛(ASC24)在北京全面启动,吸引了全球超过300支高校队伍报名参赛,较以往报名参加的国家和地区的数量都有较大的提升。

值得注意的是,此次的赛题包括大模型推理优化、渗流数值模拟,以及国际通行基准测试HPL和HPCG等。

其中,在大模型推理优化方面,ASC24选择的是开源大模型LLaMA2。众所周知,目前国内外涌现出了多个开源大模型,LLaMA2是充分评估和考量后的结果。智源研究院大模型行业应用负责人周华表示,LLaMA在整个开源界的认知度和成熟度都比较高,从参赛队伍的角度来说,让他们基于熟知的开源模型做预赛是一个比较好的选择。

“在参数上,赛题选择的是70B参数规模,体量足够大,硬件配置方面是两卡的机器,意味着一台机器是跑不起来的,需要参赛队伍做更多的优化工作,这对于人才的选拔非常有必要的,”周华如是说。

ASC组委会委员刘军补充道,“组委会在赛题的选择上希望有一定的代表性和超前性。”

反观过往几年的赛题设置,似乎也在一直践行这一标准。2016年,在赛题设置方面,和科大讯飞合作做过语音识别;2017年,和百度联合做了飞桨自动驾驶的路径规划;2018年,和微软共同做了数据集的阅读理解评测,2019年,虽然大模型没有爆火,但当时就使用了源大模型的赛题;去年,大模型领域出现了百花齐放的局面,从全球范围看,LLaMA是具备领先性的。

当然,刘军也坦言,ASC是一个全球性的竞赛,各国的参赛队伍在开源模型上开展相应的比赛工作,一方面,大家能获取更广泛的资源,诸如相应的论文或者代码工作的支持,另一方面,同样会考验,各个参赛队伍如何更加有效地获取相关资源完成这次竞赛。

在本次竞赛中,还加入了渗流数值模的赛题,对此,了解到,这类赛题,主要是研究多相流体在多孔介质中的复杂流动规律与特征,要求各参赛队伍模拟石油开采场景中油、气、水等多相流体的渗流情况,并优化大规模并行计算过程,提升离散算法的计算性能和并行效率。渗流力学广泛应用于环境保护、地震预报、生物医疗等领域的科学研究,以及防止治理地面沉降或海水入侵、兴建大型水利水电工程、农林工程、冻土工程等工程技术中。

从赛题的设置方面,能明显的看出,此次的赛题涉及范围更为广泛,这就意味着,考验的不仅仅是大模型训推等能力,还需要参赛队伍具备工业、地质学、生物医疗等多个交叉学科的能力,这无疑会对参赛队伍提出更为严峻的挑战。

对此,中国科学院数学与系统科学研究院研究员张晨松解释道,此次赛题牵扯的面确实比较广,包含地质力学、流体力学、油藏工程等知识。所以在设计题目时,会尽量地把一些参赛人员可能不太会牵扯到的知识屏蔽掉,只选择一部分程序,让参赛队伍把优化的精力集中在一些算法的提升以及对固定算法的代码性能的优化方面。主要考察的则是计算机程序开发的能力以及在超算上并行资源利用的能力。

从一定程度上来说,ASC是为了给超算产业的发展持续输送人才,但是反观大模型给超算行业带来的影响,其实,更重要的是怎么让大模型在千行百业中成功落地。

周华表示,目前大模型的主要应用形式是客服或者文档处理,在这些方面已经相对成熟了。但一旦进入深水区,比如工业领域涉及到的文字处理、图表解析、工程数字等问题很难通过大模型来解决。

“总体来说,现阶段的大模型还是一个知识量非常庞大,相对比较通才的偏文科的模型状态。如果想要用在理工科领域,仍需要不断加强模型的能力,特别是逻辑推理、数学等方面的能力。”

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
h5游戏

PC6小游戏网h5游戏频道致力于为广大h5游戏玩家朋友提供h5手机网页游戏介绍及在线试玩等,欢迎大家一起多关注分享html5游戏。

上市公司市值排行榜

市值,排行,排名,财富,首富,上市公司,市值排名,市值排行,500强,200强,市值排行榜,上市公司排名,上市公司排行榜,上市公司排行,市值500强,美股200强

房领地

房领地是国内房地产综合门户网站,为购房用户提供房地产信息、新开楼盘、在售楼盘、楼盘房价趋势相关的楼盘信息,让买房更透明。

老文笔记

老文笔记探索网站建设,计算机网络技术,数码科技以及游戏攻略信息。

游戏巅峰

游戏巅峰(kuaijionline.com/)游戏巅峰是一个专为游戏爱好者打造的综合性游戏网站。我们致力于提供最新、最全的游戏资讯、评测、下载以及社区互动服务。在游戏巅峰,您可以轻松浏览到各类热门游戏的最新动态,获取专业的游戏评测报告,下载心仪的游戏作品,参与热闹的玩家社区讨论,观看精彩的游戏直播,与其他玩家互动交流。同时,我们还为您提供丰富的赛事资讯和实用的游戏攻略,助您在游戏世界中畅行无阻,享受巅峰的游戏体验!

game8号网

game8号网是一个专为游戏方面整理相关知识、玩法的分享平台,竭力为广大玩家提供海量好玩游戏的游戏攻略、游戏资讯、游戏简评、游戏玩法等,game8号网一定是游戏玩家首选的网站。

慧邮件

慧邮件是专业邮件营销平台,将邮件营销,邮件群发,EDM营销,电子邮件营销,Email营销融为一体,让您更好的营销自己产品,利用电子邮件营销方式获取更好的营销效果。

爱下手机站

爱下手机站是提供安全优质的手机软件和手机游戏的下载站,是国内可靠的综合性资源下载站,致力于为用户提供最全面的,无毒的优质资源体验。

cpvc电力管挤出机生产线

张家港市华德机械科技有限公司是专业的cpvc电力管挤出机,CPVC电力管生产线,管道挤出机设备,MPP电力管生产设备,mpp电力管挤出机,CPVC电力管生产设备,PE三层共挤管材设备供应商,主营产品有:cpvc电力管挤出机,CPVC电力管生产线,管道挤出机设备,MPP电力管生产设备,mpp电力管挤出机,CPVC电力管生产设备,PE三层共挤管材设备等,张家港市华德机械科技有限公司不仅具有专业的技术水平,更有良好的售后服务和优质的解决方案,欢迎来电洽谈

全局底部横幅