超算发展的加速引擎 大模型推理成ASC24赛题 (超算的发展情况)

文章编号:41981 资讯动态 2024-12-03 大模型超算ChatGPT
超算发展的加速引擎

谈到超算,最早可追溯到1929年,彼时,超级计算(SuperComputing)的概念首次出现在《纽约世界报》的报道中,并对今后科技的发展起着至关重要的作用。随后,国内外对超算的研究进入到了如火如荼的阶段。

人材是创新的源泉,也是技术发展的主导力量,为了给中国超算产业持续储备、输送更多优秀的技术人才,2012年,中国提议并成立了ASC世界大学生超级计算机竞赛,该活动与日本、俄罗斯、韩国、新加坡、泰国、中国台湾、中国香港等国家和地区的超算专家和机构共同发起并组织,并得到美国、欧洲等国家地区超算学者和组织的积极响应支持。

至今,ASC已经走过12个年头,已经发展为全球最大规模的大学生超算竞赛,超过上万名大学生人才走入ASC,跨进超算的大门,通过以赛代学以赛促练快速成长,融为了产业创新的新鲜血液。

随着超算技术不断发展,中国超算应用领域也在不断拓展,人才培养也得到产学研界的用心扶持。近几年来,我国超算产业的发展取得了不错的成绩。

规模方面,据Frost & Sullivan的调研数据显示,2016-2021年中国超算服务市场规模的复合增长率达24.7%,其中,2021年市场规模为196.6亿元,2022年增速约24.5%,由此推算,2022年中国超算服务市场规模约244.8亿元。

性能方面,中国超级计算平均性能已经从2013年的573 Tflops升至2022年的8999 Tflops。其中,2022年超级计算机最高性能达208260 Tflops,较2021年的最高性能提升了66.55%。

同时,结合超算近两年的发展态势,Frost & Sullivan也预测道,2022-2025年中国超算服务市场规模复合增速约24.1%,若持续保持这一增速发展,到2028年,中国超算服务市场规模将接近900亿元。

缘何能保持如此高速的增长?

如果从今年科技界的发展动向看,大模型就是最好的“加速器”。

对此,一位超算行业的专业人士也曾提到,随着2022年底ChatGPT的流行带动,算力已成为大模型训练的重要基础设施,国内外纷纷建设由高端芯片组成的大规模算力集群。大模型训练与推理为超算带来了巨大机遇,据OpenAI估算,目前大模型训练对算力的需求大约每3至4月翻一倍,远超摩尔定律18至24个月翻倍的速度。

毫无疑问,大模型的发展确实能在很大程度上,带动算力乃至超算产业的发展,但是其背后是对人才提出了更为严苛的要求。诸如,如何加速大模型的训练速度?如何提升大模型的训推性能?以及如何降低计算成本等这些问题都需要人来完成。

正如上海大学计算机工程与科学学院院长谢少荣所言,大模型给我们带来机遇的同时,也带来了巨大的挑战,大模型对算力的需求不断激增,随之而来对人才也提出了新的要求,如何培养更高质量的人才,就成了重要的研究课题。

基于此,近日,2024 ASC世界大学生超级计算机竞赛(ASC24)在北京全面启动,吸引了全球超过300支高校队伍报名参赛,较以往报名参加的国家和地区的数量都有较大的提升。

值得注意的是,此次的赛题包括大模型推理优化、渗流数值模拟,以及国际通行基准测试HPL和HPCG等。

其中,在大模型推理优化方面,ASC24选择的是开源大模型LLaMA2。众所周知,目前国内外涌现出了多个开源大模型,LLaMA2是充分评估和考量后的结果。智源研究院大模型行业应用负责人周华表示,LLaMA在整个开源界的认知度和成熟度都比较高,从参赛队伍的角度来说,让他们基于熟知的开源模型做预赛是一个比较好的选择。

“在参数上,赛题选择的是70B参数规模,体量足够大,硬件配置方面是两卡的机器,意味着一台机器是跑不起来的,需要参赛队伍做更多的优化工作,这对于人才的选拔非常有必要的,”周华如是说。

ASC组委会委员刘军补充道,“组委会在赛题的选择上希望有一定的代表性和超前性。”

反观过往几年的赛题设置,似乎也在一直践行这一标准。2016年,在赛题设置方面,和科大讯飞合作做过语音识别;2017年,和百度联合做了飞桨自动驾驶的路径规划;2018年,和微软共同做了数据集的阅读理解评测,2019年,虽然大模型没有爆火,但当时就使用了源大模型的赛题;去年,大模型领域出现了百花齐放的局面,从全球范围看,LLaMA是具备领先性的。

当然,刘军也坦言,ASC是一个全球性的竞赛,各国的参赛队伍在开源模型上开展相应的比赛工作,一方面,大家能获取更广泛的资源,诸如相应的论文或者代码工作的支持,另一方面,同样会考验,各个参赛队伍如何更加有效地获取相关资源完成这次竞赛。

在本次竞赛中,还加入了渗流数值模的赛题,对此,了解到,这类赛题,主要是研究多相流体在多孔介质中的复杂流动规律与特征,要求各参赛队伍模拟石油开采场景中油、气、水等多相流体的渗流情况,并优化大规模并行计算过程,提升离散算法的计算性能和并行效率。渗流力学广泛应用于环境保护、地震预报、生物医疗等领域的科学研究,以及防止治理地面沉降或海水入侵、兴建大型水利水电工程、农林工程、冻土工程等工程技术中。

从赛题的设置方面,能明显的看出,此次的赛题涉及范围更为广泛,这就意味着,考验的不仅仅是大模型训推等能力,还需要参赛队伍具备工业、地质学、生物医疗等多个交叉学科的能力,这无疑会对参赛队伍提出更为严峻的挑战。

对此,中国科学院数学与系统科学研究院研究员张晨松解释道,此次赛题牵扯的面确实比较广,包含地质力学、流体力学、油藏工程等知识。所以在设计题目时,会尽量地把一些参赛人员可能不太会牵扯到的知识屏蔽掉,只选择一部分程序,让参赛队伍把优化的精力集中在一些算法的提升以及对固定算法的代码性能的优化方面。主要考察的则是计算机程序开发的能力以及在超算上并行资源利用的能力。

从一定程度上来说,ASC是为了给超算产业的发展持续输送人才,但是反观大模型给超算行业带来的影响,其实,更重要的是怎么让大模型在千行百业中成功落地。

周华表示,目前大模型的主要应用形式是客服或者文档处理,在这些方面已经相对成熟了。但一旦进入深水区,比如工业领域涉及到的文字处理、图表解析、工程数字等问题很难通过大模型来解决。

“总体来说,现阶段的大模型还是一个知识量非常庞大,相对比较通才的偏文科的模型状态。如果想要用在理工科领域,仍需要不断加强模型的能力,特别是逻辑推理、数学等方面的能力。”

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
中海润科技集团有限公司

中海润科技集团有限公司船舰高压细水雾灭火系统、船舰用特种传感器、船舰电池管理系统、产品广泛应用于航母、潜艇、船舰等的灭火和电源控制。光电观瞄吊舱、光电雷达应用于战机、无人机等;导弹、通信卫星平台、技术检测服务等。

春兰除湿机0571

杭州春兰创造新生活,批发3公斤和6公斤两类产品,普通型CF3D/A和CF6/C, 低温型CFZ3BD和CFZ6B/E,销售TEL:0571-85235095,春兰工业除湿器厂家,春兰除湿机CF3D/A,杭州春兰除湿机CFZ3BD,春兰除湿机CF6/C价格,春兰除湿机CFZ6B/E报价

浙江户外酒店定做

浙江户外酒店定做,浙江户外酒店帐篷定做,电话13810190773,热气球租赁,热气球项目合作,热气球租赁购买首选和馨文化公司

Odoo

Odoo是全球流行的开源企业管理套件,其功能涵盖了CRM、营销、销售、采购、库存管理(WMS)、生产制造、财务核算、项目管理、质量管理、PLM、人力资源等一系列完善的企业信息化工具。

【雪聪网】全国城市分类信息管理平台

雪聪网是一个管理全国城市分类信息的网站平台,商家可以发布和管理汽车租赁、二手车回收、管道疏通、家电维修、居民搬家、房屋装修等信息,当地老百姓可以查看相应的服务信息

天津津成电线电缆

天津津成电线电缆有限公司经过多年的发展,为企业积累了丰富的开发和生产电线电缆的经验和技术。公司主营产品:低烟无卤耐火电线电缆、低烟无卤阻燃电线电缆、分支电缆、高压交联电缆、架空电缆、聚氯乙烯绝缘电力电缆、聚氯乙烯绝缘电线、控制电缆、矿用电缆、特种电缆、同轴电缆、五类线、超五类线、六类线、橡套电缆等。欢迎广大客户电话咨询!

医用自动洗肠机厂家/广东肠道水疗机多少钱/结肠水疗仪(机)效果/医用透析器复用机系统/透析器自动再处理机系统/佛山市康宇达医疗器械有限公司

康宇达医疗器械(400-886-8873)是一家专业产销优质医用洗肠机.肠道水疗机厂家,广东肠道水疗仪多少钱,结肠途径治疗机怎么样,结肠水疗仪复用机功能,结肠水疗仪复用机效果,医用透析器复用机系统,透析器复用系统系统等高新型医疗器械的民营科技企业,详情请来电咨询

无锡水泥砖,无锡水泥空心砖,无锡水泥异型砖

无锡市惠山区洛社镇尚志水泥制品加工厂主要生产销售无锡水泥砖,无锡水泥空心砖,无锡水泥异型砖,无锡水泥多孔砖,厂家直销,欢迎来电联系.

南尖岩农家乐

南尖岩旅游风景区,为了给各位驴友带来更好的生态旅游心境,营造更舒适的居住娱乐环境,在这里你可以看到南尖岩的云雾,梯田,日出,在这里你可以了解南尖岩的特色餐饮和住宿,欢迎来电咨询。

泰迪广告

南京泰迪广告致力于品牌形象VIS设计与传播、标志设计、精品画册设计、样本设计、多媒体与网站设计、商业摄影、影视宣传片。经过十五年的运营,历练出卓越的策划、创意设计能力,积累了丰富的市场运作经验。

售后服务

四川诺冠动力设备有限公司总部设在成都市,公司致力于燃气发电及动力产品,热电联产机组的研发,生产,销售和服务。公司产品广泛运用于暖通、工程装备、油气田勘探、炼化、矿山开采、桥隧工程、机场车站、医院、商城、学校、大型生活服务基地、数据中心、农产品加工、分布式能源、微电网和智慧能源系统等总多领域和行业,产品远销北美、欧洲、亚洲、非洲、拉丁美洲等海外市场。

崇州游戏娱乐

成都魅飞扬文化娱乐有限公司是一家专注于文化艺术交流活动的策划与实施、广告设计与发布、企业形象策划、市场营销策划、公关活动策划、会展服务、礼仪服务、摄影服务、影视制作、网络技术开发等领域的综合性文化传播公司。

全局底部横幅