平安科技前沿技术部门负责人王磊 大规模预训练模型在垂直领域应用的缺陷与改进 (平安科技前沿技术部门负责人王磊)
整理 |维克多
这些模型的实际应用情况如何？它们能解决哪些实际问题？还有哪些不足？
2021年12月， 平安科技前沿技术部门负责人王磊 在 CNCC 2021“产业共话：大型预训练模型的商业应用及技术发展方向”论坛上，做了《大规模预训练模型金融领域应用中面临的主要问题与应对技术探讨》的报告。在报告中，他指出了当前大规模预训练模型在垂直领域的“致命”问题，针对这些问题提出了平安科技的解决方案。
例如，他认为大规模预训练模型在垂直领域性能达不到要求的原因可能是： “大规模预训练模型的训练语料库规模很大，既包含了该领域的关键信息也包含了其他无关信息，使得模型缺少对关键信息的关注”，“当前大规模预训练模型的机制改进也也很少涉及对关键信息的提取”。
基于此，王磊认为，大规模预训练模型本质上都是在处理信号，但只要是信号，就可能进行分解，将背景信息和垂直领域的信息分离开来，从而有效贴合下游场景。
金融客户对上线模型的精度要求很高，不少场景直接使用预加载模型往往很难满足需求。 王磊提出置信度评估方法，利用强化学习和Bagging思想评估模型靠谱程度。
以下是演讲全文，AI科技评论做了不改变原意的整理。
在平安公司场景下，大规模预训练模型在金融业务上的应用主要集中在贷款风控与股市投资。同时，这 两个领域近些年的建模在因子层面会比较依赖大数据，例如文本信息，使用 预训练模型进行处理能够形成一些特征因子，从而方便分析理解。
大规模预训练模型已经在几十个任务上刷榜，在医疗领域的表现更是令人瞠目结舌。但是深入到金融领域，其性能仍然无法满足要求。 以选股为例，传统方法在信息获取阶段会人工从研报、雪球、知乎等论坛找寻一家公司的信息以及风评，然后结合基金经理或投资人自己的判断获得对这家公司的洞察，从而决定是否买进。
由于金融领域的容错性特别低，而且要求模型对专业知识有很深的理解。如果达不到一定的理解水平，从业者宁可不用AI模型。
一般而言，对于单任务，一个模型的性能能达到90%，但如果需要理解一段话或者一段专业评语，则需要三层模型才能形成一定的特征，这时模型性能就会下降为70%左右的水平。因此，在投资等要求严格的场景下，预训练模型很难应用。
为什么会出现这种问题？个人认为，大规模预训练模型的语料库是大型文本，它注重广度和背景，对于深度和细节较少关注。
以国内企业研发的一些预训练模型为例，其早期改进的方式都集中在Mask层面，而Msak机制更倾向于集中学习信息的广度。而当模型应用到法律、医学等领域时，更需要的是“深度”理解。
如何解决？目前有很多思路，例如加入专家知识，知识增强、混合训练等等。目前，中国平安在探索语义空间分解技术和置信度评估方法。
大规模预训练模型涵盖了很多背景信息，那么能否进行再一次的分解，将背景信息和垂直领域的知识体系分离开来？分解不能没有标准和依据，而大规模语言模型实际上是在处理信号，当模型理解信号的时候，虽然信息和语义仍然在，但却在中间发生了各种形式的变换。因此，无论是哪种大模型，其本质都是将信息或语义重新转述为信号。
那么，既然是信号，就能够进行分解。我们已经尝试了多种方式，其中一种做法是：基于国内机构提出的大规模预训练模型，加入高中低滤波器，然后用自适应频谱机制进行处理，可以理解为一个Attention机制，最后进入下游任务训练。
经过实验表明，我们提出的频谱分解网络结构（Filter-Loss和Filter-layer ） ，结合经典语言模型训练神经网络，在各类型任务中均可显著提升语言模型能力。
更为具体，不仅是在垂直领域，改进后的语言模型在11个国际公开数据集上测试结果较BERT模型提升。这也证明，将语义空间进行分离，然后和下游任务结合的做法具有通用性。
在金融领域，无论模型达到什么样的水准，其上限永远是客户需求。例如客户的标准是95%的性能，而模型只能达到92%，仅仅差3个百分点，就会让模型很难上线。这类问题在金融企业非常容易遇到。
为了解决上述问题，平安科技提出了基于置信度评估的方法，通过这种方法，模型可以评估其“靠谱程度”。如果靠谱程度高，就通过，如果低，那么就需要人类接手，或者直接放弃。因为很多场景并不是信息越多越好，信息冗余已经成为了不可忽视的现象。
而且，还需要解决围绕各类复杂经济主体的多源异构大数据难以统一表述、信息难以整体耦合和关联的问题。平安通过对数据标签化提取的置信度技术研究，提升金融数据标签化提取精度，提升流程自动化水平；通过对多尺度多维度融合语义关联的经济主体表达技术的研究，构建金融领域知识图谱。
信度评估方法采用的是强化学习构建置信度框架。主要分为三个部分：
1.用BERT等语言模型等抽取语义向量
2.利用双向长短期记忆方式组合全局向量
3. 强化学习模块根据人工打分拟合相关标准，输出置信度分数。
此外，还可以尝试通过Bagging思想构建置信度框架。模型pipeline有4个阶段：
1.利用Bagging思想，从数据中抽样5份，训练出5套模型参数；
2. 在少量测试集上测试各套参数性能，根据性能例如F1值，分配各模型置信度权重；
3. 各套参数选择某个标签后，在结果统计中累加对应参数权重；
4. 最终输出累加置信度最高标签。
改进后的语言模型在语义相似度、多分类、语义蕴含等多类型国际公开数据集上测试精度较BERT模型的提升大多在10%-20%，但召回率下降20%-50%； 在实际项目中从舆情中提取公司标签的模型精度提升11个百分点，达到93%。
这在商业上非常有价值，例如虽然 召回率 降低了50个百分点，但意味着只有一半的模型需要人工干预，另一半的模型完全可以交给自动化，这远比模型无法上线要好的多。
在金融领域，例如选股，模型的精准度是首先需要考虑的，其他指标可以稍差。 例如从1000只备选股票中模型只选出了50只良好股票，可能会错过50只良好股票。但这种错过也是允许的，毕竟模型会“保证”选出来的50只股票大概率能够赚钱或有超额收益。
原创文章，未经授权禁止转载。详情见 转载须知 。
优优教程网灵感频道,设计师没灵感?在这里你可以找到Banner设计,海报设计,logo设计,UI设计,网页设计,App设计等灵感,来优优,找设计灵感.
中国大地财产保险股份有限公司是中再集团公司旗下唯一的直保财险公司,为您提供汽车保险,旅游保险,意外保险,家庭财产保险等非寿险业务的各种保险服务。是一家具备车险电话销售专营产品经营资格的财险公司。
东锜专业供应瑞典进口进口UNIMAX模具钢材,UNIMAX价格,unimax是什么材质，Unimax模具钢材是一种新型的高性能铬钼钒合金工具钢，具有的性能，特殊的化学成分设计及更新的生产技术使之性能特别显著。瑞典进口进口Unimax拥有非常优异的韧性和很好的热强度。
北京风行在线技术有限公司（简称“风行”）于2005年9月成立。十四年来，风行经历从PC、移动到OTT，实现了互联网、文娱和实业的跨域深度融合。2018年面向产业互联网，风行重塑企业使命为“让内容流动更简单”，致力于成为一家“专业的全渠道内容运营服务商”
众鑫采集器基于人工智能技术研发的新一代网页采集软件，该软件功能强大，操作简单，可谓是居家旅行随身神器。
搜了网(51sole.com)专注于为企业用户提供B2B市场行情，热点采购、加工批发，产品信息，黄金商铺，网上推广等，是企业进行电子商务和网上推广的首选行业门户，聪明的老板上搜了网！
微信分销系统专注于微信商城开发,提供微分销系统、三级分销系统、微商分销系统等多款裂变式吸粉营销应用,帮助中小企业解决微商城开发难点,打造特色微信分销平台。
力石科技是国内领先的数智农文旅AI+大数据服务商，致力于数智文旅、数字乡村技术创新及运营服务，为客户提供数智农文旅整体解决方案。
彩谱科技是国际知名的光学仪器研发制造商.主营高光谱相机,多光谱相机,成像光谱仪,无人机高光谱相机,显微高光谱成像系统等仪器,覆盖400-1700nm的高光谱相机，有线扫描、面扫描的光谱相机，可搭载无人机和显微镜探索更多光谱信息。,300个光谱波段,支持定制！
公司销售总部位于上海金融大都市，专业销售交直流减速电机、小型交流马达、高精度减速器的合资企业，产品品种有：万鑫齿轮减速电机，铝合金蜗轮减速机，精密行星减速电机，三亚游星减速机，感应电机，可逆电机，刹车电机，调速电机，刹车调速电机，力矩电机、直流电机、无刷直流电机、小型电机和交直流速度控制器等。
天然钻石协会提供天然钻石在线培训、素材申请、钻石验真工具，分享天然钻石及珠宝行业的最新动态、行业资讯、培训资源及市场活动。
长沙市黄达搬家公司是长沙市服务最好的搬家公司,24小时专业为您提供企业搬家、居民搬家、家俱拆装、钢琴搬运、搬家货运、写字楼办公隔断拆装、钟点计时等金牌服务!搬家网络覆盖于长沙市区及周边区域。搬家服务热线：15200931488
悟道2.0，要怎么用起来，连创，中国首个，和，世界最大，两项记录后，悟道大模型的落地应用成为业界关心的热点话题，GPT，3的问世掀起了一股，炼大模型，的浪潮，去年10月，北京智源研究院集结中国产学界100多位AI专家联合攻关，在一年之内发布了1.75万亿级大规模预训练模型悟道2.0，超越GPT，3、SwitchTransformer，...。
近日，AI科技评论获悉，阿里副总裁、达摩院自动驾驶实验室负责人王刚已经离职，并将在清洁机器人领域创业，感谢王刚为达摩院无人驾驶技术作出的贡献，祝福王刚，阿里官方用这句祝福为我们证实了消息的真实性，这一刻，距离他入职阿里那天，已经过去了五年，达摩院的无人驾驶奠基人王刚在2005年本科毕业于哈尔滨工业大学电信学院，到2010年，他获得...。
2021年，为狩猎而生的创投机构们再次围猎智能驾驶赛道，企业融资新闻接踵而至，行业热度急速升温，归国创业的技术大拿、离职不久正在筹备新公司的高管、商业模式逐渐清晰的垂直场景玩家......创投机构们犹如久饿的鲸鲨，一点点的血腥就能将他们快速吸引，前不久，前阿里达摩院自动驾驶负责人王刚官宣离职的当天，就有至少三家资方希望通过新智驾与王刚...。
2021年是大规模预训练模型的爆发之年，掀起了人工智能又一波热潮，并迅速成为AI领域的技术新高地，助推人工智能从1.0的感知智能向2.0的认知智能转变，自从2012年深度学习的应用元年以来，人脸识别、语音识别等技术通过机器学习实现了大量应用场景突破，不仅提升了社会工作效率，同时改变了人们的生活出行模式，建立了人类对人工智能技术的基础认...。
雷锋网按，2020年8月7日，全球人工智能和机器人峰会，CCF，GAIR2020，正式开幕，CCF，GAIR2020峰会由中国计算机学会，CCF，主办，香港中文大学，深圳，、雷锋网，公众号，雷锋网，联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办，作为中国国内最具影响力和前瞻性的前沿科技活动，CCF，GAIR大会已经度过了四次精...。
雷锋网新智驾按，10月17日，19日，2019年中国计算机大会，CNCC2019，在苏州举办，本届大会以，智能，引领社会发展，为主题，1000家机构的代表、8000余人参展参会，阿里巴巴自动驾驶实验室主任、首席科学家在会上发表了，自动驾驶没有免费的午餐，的主题演讲，王刚认为，单用一套通用的自动驾驶算法很难覆盖复杂多样化的交通场景，需要...。
雷锋网AI科技评论按，10月17日至19日，由CCF主办、苏州工业园区管委会、苏州大学承办的CNCC2019在苏州成功召开，今年大会以，智能，引领社会发展，为主题，选址苏州金鸡湖国际会议中心召开，雷锋网AI科技评论作为战略合作媒体对会议进行了全程跟踪报道，在，CNCC爆款技术论坛，申省梅、陈熙霖主持，西湖李子青、阿里王刚多视角讲解CV...。
7月28日，中国信通院，行业大模型高质量发展论坛暨可信AI大模型标准宣贯会，以下简称，宣贯会，在南京举办，会上，腾讯作为推动行业大模型的核心单位，与中国信通院共同启动行业大模型标准联合推进计划，其中，腾讯与信通院将联合牵头开展，面向行业的大规模预训练模型技术和应用评估方法第1部分，金融大模型，以下简称，金融行业大模型评估方法，...。
整理，维克多预训练模型在自然语言处理和计算机视觉领域引起了学术界和工业界的广泛关注，利用大规模无监督数据进行训练的预训练模型有着非常好的泛化性，只需在小规模标注数据上进行微调，就可以在相应任务上有所提高，但相关研究的进展如何，还有哪些问题需要进一步探索，2021年12月16日，北京大学深圳研究生院党委副书记、教授、博士生导师、北京大学...。
刚刚，清华大学宣布聘任周伯文博士为电子工程系长聘教授、清华大学惠妍讲席教授！官网查证，周伯文的名字已经出现在清华大学电子工程系信息认知与智能系统研究所教授名单之列，图源，清华大学电子系官网2021年11月16日，时任京东AI一把手的周伯文离职，前有阿里巴巴副总裁、达摩院自动驾驶实验室负责人王刚在1月份离职在清洁机器人领域创业的消息，便...。
作者，杨丽编辑，王刚出品，雷锋网产业组雷锋网按，如果提前知道安全漏洞会被曝光出来，让客户放弃，被对手痛打，甚至受到政客揣度，Zoom还会不会如此高调成长，竞争是如此激烈，激烈到你们根本无法忽视它的存在，5月19日，多家外媒报道称，Zoom已经停止中国内地个人用户注册，并禁止内地个人账户发起，主持会议，只允许参会，企业账户仍可以注册，但...。
作者丨何思思编辑丨王刚如今，机器人已经成为红人，居家生活需要机器人，酒店经营需要机器人，学校教育需要机器人，医疗救治需要机器人，在工业制造领域，，机器换人，也在如火如荼地进行着，工业机器人是广泛用于工业领域的多关节机械手或多自由度的机器装置，具有一定的自动性，可依靠自身的动力能源和控制能力实现各种工业加工制造功能，工业机器人行业按产业...。
2018年12月13日，在高通发布年度旗舰处理器骁龙855之后，联发科也大张旗鼓地发布了一款处理器新品HelioP90；从这款处理器的数字命名可以看出，尽管联发科已经暂停推出HelioX系列处理器，但它冲击高端旗舰处理器的野心依旧还在，不过，对于联发科来说，HelioP90在产品上最大的亮点是它的拍照能力，HelioP90的苏黎世AI...。
19、20年的时候，干投资的不投个芯片企业你都不好意思，一位资深业内人士向说到，在汽车芯片领域，延续三年的缺芯潮带动的是资本、人才、技术的周期性回暖乃至过热，有抓住机遇一跃成为行业头部的，也有找对市场快速实现量产的，但更多的企业，在2023年后不可避免体会到了，倒春寒，一位曾从事过芯片代理业务的业内人士告诉，缺芯主要...。
我不得不承认，其实我在写这篇文章的时候心不在焉，因为我正在纠结到底买哪一款无线耳机，市面上的款式实在是太多了……你肯定也听说了，苹果刚刚把iPhone7的耳机插口给毙了，这意味着如果你想边充电边听歌的话，你必须买一个无线耳机，当然你也可以选择不买iphone7哈，，而且这货还不便宜，所以问题来了，如何在预算之内选择一款最好的呢，我们每...。
今日头条王思聪现身理想门店买了一台L9，网友，校长也消费降级了日前，有网友曝光的一组照片显示，王思聪现身某理想门店，被曝订购了一台理想L9，网传的订单截图透露，王思聪购买了一辆理想L9，锁单时间为10月18日17，19，理想汽车员工也晒出了自己与王思聪在店内的合影，对于王思聪购买理想L9一事，网友调侃称，消费降级我真信了，王思聪都开始...。
2024年1月30日，北京，全球领先的AR眼镜品牌XREAL今日宣布，公司已完成新一轮6000万美元战略融资，本轮融资的注入，使得XREAL迄今为止的融资总额达到3亿美元，据行业分析机构评估，XREAL目前的估值已超过10亿美元，据悉，本轮融资将用于产品研发和光学引擎生产基地的扩建，这意味着XREAL可以进一步提升AR眼镜的产能，...。
