轩辕 度小满开源国内首个千亿参数金融大模型

文章编号:43455 资讯动态 2024-12-09 金融机构度小满轩辕大模型
度小满开源国内首个千亿参数金融大模型 度小满

近日,度小满正式开源国内首个千亿级中文金融大模型——“轩辕”。轩辕大模型是在1760亿参数的Bloom大模型基础上训练而来,在金融名词理解、金融市场评论、金融数据分析和金融新闻理解等任务上,效果相较于通用大模型大幅提升,表现出明显的金融领域优势。

在金融场景中的任务评测中,轩辕全面超越了市场上的主流开源大模型,赢得了150次回答中63.33%的胜率,充分凸显了其在金融领域的显著优势。在通用能力评测中,轩辕有10.2%的任务表现超越ChatGPT 3.5,61.22%的任务表现与之持平,涉及数学计算、场景写作、逻辑推理、文本摘要等13个主要维度。

为了提升轩辕大模型对金融领域问题的理解能力,度小满将自身业务中积累的金融领域的千亿tokens的中文预训练数据集用来训练模型。该数据集涵盖了金融研报、股票、基金、银行、保险等各个方向的专业知识。度小满表示,经过清洗和标注的高质量数据集,不仅在通用性方面与ChatGPT达到持平成为可能,且显著提升了模型在金融垂直领域的性能。

BLOOM (Big Science Language Open-science Open-access Multilingual)是2021年由 1000 多名志愿研究人员在一个名为“大科学 BigScience”的项目中创建,2022年 7 月 12 日正式发布。BLOOM 拥有 1760 亿个参数(决定输入数据如何转换为输出内容的变量),稍多于拥有 1750 亿个参数的 GPT-3。BLOOM拥有1.61TB文本,包含46种自然语言和13种编程语言。相比Meta发布的130亿参数的LLaMA(Large Language Model Meta AI)模型,Bloom参数量更占优势。

目前,千亿级的轩辕模型已可以在Huggingface中申请下载,面向所有金融机构开放。 下载地址:

度小满CTO许冬亮表示,轩辕大模型是经度小满业务场景中积累的金融数据训练而来的,对金融相关问题的理解比通用大模型更有优势。我们把大模型能力开放给金融机构,有利于推动大模型在金融行业的应用,降低大模型的应用门槛,提升金融行业智能化水平

作为AI新基建,大模型在金融及各个行业有着广泛的应用场景。轩辕大模型开源后,对金融机构有何意义?

许冬亮认为,生成式大模型在内容生成与创作、信息摘要与总结、知识理解与问答、自然交互与对话等方面具备非常出色的能力,在金融场景中会有广泛的应用。在前台,生成式大模型将大幅提升客户经理的专业水平和服务能力,大幅降低客户经理的运营成本,让每个人都拥有24小时在线的专业客户经理成为可能。出色的内容生成能力也将引发营销内容生产能力的大幅提升。在中台,生成式大模型有机会改变企业内知识获取、内容创作、会议与沟通、代码开发与测试的方式,进而大幅提升企业内部办公效率,甚至引发研发测试模式变革,全方位的提升金融企业内部运营效率。在后台,大模型将成为智能科技底座的标配,大幅降低智能技术应用的门槛,只需少量标注数据甚至无需调整就可以让智能技术覆盖广泛的场景。

度小满依托于百度人工智能技术,已经开展了一系列基于大模型的应用。以风险管理为例,度小满已经将大型语言模型LLM应用在互联网文本数据、征信报告的解读上,通过用文本数据构造的预训练模型以及AI算法,能够将征信报告解读出40万维的风险变量,更好的识别小微企业主的信贷风险。今年5月份,这一工程荣获了 “吴文俊人工智能科学技术奖”。今年2月份,百度基于文心大模型技术推出的生成式对话产品“文心一言”(英文名:ERNIE Bot)开放生态合作,度小满成为首家接入的金融科技公司。

版权文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
山东迅鸣物联网科技有限公司

免费使用的物联网平台,物联网,物联网解决方案,迅鸣物联网,迅鸣,迅鸣iot,IOT,iot,xunming,xunmingiot,wulianwang

微纳感知

深圳市微纳感知计算技术有限公司专注于复杂场景下的机器听觉解决方案:鸣笛抓拍,炸街车抓拍,噪声监测,声纹采集,音视联动,智慧审讯,智慧监管,特殊车辆优先通行……

SeeLight光学系统虚拟仿真实验平台

seelight光学系统虚拟仿真实验平台,专业级的光学仿真软件,简单易用,彻底摆脱繁琐操作,无论何时何地,只要能上网,就能做实验,支持多浏览器,实验结果与桌面版互联互通

轻竹PPT

轻竹PPT-支持一键生成PPT大纲,Word转PPT,PDF转PPT,PPT演讲稿ai生成。提供海量精美PPT模版,自动排版美化PPT。适用于教育、医学、科研、企业、论文、宣传等多个行业和用途!

河南海之清环保科技有限公司

河南海之清环保科技有限公司是一家经营滤料、滤材、净水剂的一家公司,本公司位于中国百强县--巩义市,位于郑州、洛阳之间,紧靠陇海铁路和开洛高速,交通十分便利。凭借丰富的经验,不断创新和汇聚全国各种水处理技术净化,经营多系列的净水材料设备

凯琦供应链

凯琦供应链深耕跨境电商物流9年,亚马逊ShipTrack承运商、亚马逊SPN服务商,是盐田定提行业首创者、FBA头程物流十强企业。专注于亚马逊FBA头程物流,美国FBA海运、FBA海运整柜/拼箱、北美FBA物流运输、加拿大FBA运输、欧洲FBA运输、海外仓等服务。

得力工具官网

得力以“成为一家值得信赖且受人尊敬的企业”为愿景,奉行“爱社会、爱企业、爱产品、爱客户、爱同事、爱家人”的企业价值观,秉承“务实、稳健、专注、创新”的文化基因和“责任、荣誉、勇气、自律”的得力精神,保持强劲的发展势头,持续引领工具行业阔步前行。

惠车网

惠车网为大家提供最新的专业汽车讯息,主要栏目有用车,促销,车评,试驾,动态,新车,经销,车界,头条,行业,营销,资讯等。

广东一一五科技股份有限公司

115备份软件基于115网盘存储,通过该软件可把本地电脑的文件一键备份到云端,用法非常简单,只要拖拽文件或文件夹到软件,任何文件都可以快速备份到115端。

全国精准天气预报一周

实时天气网(www.cnweather.com)提供全国城市、区县、乡镇一周内天气预报查询,通过对本地天气查询可以了解到未来7天、15天天气预报的详细情况,包括温度、降雨以及空气质量pm2.5的24小时天气实时数据,方便您出行以及生活!

糖果店

芋道管理系统基于vue3+CompositionAPI+typescript+vite3+elementplus的后台开源免费管理系统!

全局底部横幅