数据驱动人工智能的实践 (数据驱动人工智能)

文章编号:36556 资讯动态 2024-11-30 营销人工智能大数据金融

随着时间的推移,人工智能(AI)技术已经形成学术与产业联动发展、向前推进的态势。不管是说风口还是机遇,AI对科技产业创新的力量不言而喻,而在该领域积累了相关技术实力的研究者、企业创新者也希望赶上时代的列车。本次雷锋网AI金融专场硬创公开课第一期,我们邀请到百度金融首席数据科学家丁磊博士,来分享他关于人工智能技术在商业领域的深度思考。

嘉宾简介

丁磊博士是百度金融首席数据科学家,曾任职汇百川征信CTO,及Paypal全球消费者数据科学部负责人。丁博士曾在斯坦福大学学习管理,先后在哥伦比亚大学和ibm Watson研究院工作,具有在大数据、金融等领域十多年的从业经验,在人工智能和大规模机器学习等领域有丰富的成果。

数据驱动的实践 | 雷锋网公开课

以下是雷锋网对演讲进行了不改变原意的编辑:

晚上好,感谢大家在周五的晚上和我们一起探讨人工智能这个话题。我在国内外从事AI有十来年,涉及了AI在多媒体理解、社交、广告、营销、金融等领域的产品与研发工作。在这儿,我想跟大家分享一些自己的从业思考。

数据驱动的AI框架,可以带来哪些作用?

说到数据,毋庸置疑,是咱们这个时代很重要的资产。大家常说大数据有“3V”:volume,数据量,从TB到PB甚至更大的数据。variety,多样性,包括结构化,半结构化,非结构化的数据。velocity,速度方面,包括批处理,准实时,实时的数据。

如果说数据是原油,那么我想,AI就是从原油中提炼各种高价值产品的加工厂。从数据中发现知识、洞察、和规律,这本身并不是一个新的概念,从开普勒的时代就有,那就是开普勒从几百页的天体位置数据,在当时算是大数据中,提炼、总结出了天体运动的三定律,现在还在被使用,也就是我们熟知的开普勒三定律。现在,AI帮助我们实现了的是,借助大规模云计算的方法,从海量数据中自动学习知识和规律。做好AI并不容易,接下里我会跟大家详细探讨一些经验。

作为数据驱动的AI框架,可以给我们带来哪些作用?总的来说:

说完这三点,接下来谈谈搭建PayPal AI平台的经验。从2012年到2015年底,我带领团队构建了AI平台并服务于全球数亿的用户和百万级的商家,优化了他们的购物体验。通过AI平台,作为商家可以运营化地预测用户的行为从而精准的和他们对话。

具体而言,AI平台包括:动机引擎、推荐引擎、以及优化客户生命周期的NBA(Next Best Action)引擎。这几个引擎部署在基于Hadoop和Spark的大数据平台之上,跟海量的底层数据无缝衔接。

那么这个AI平台如何发展起来的呢?首先,需要理解业务的需求和KPI,整合相关数据集,然后建立基于回测的概念验证,运营化生产和迭代整个体系。经历了几年的历程,团队逐渐构建了比较完善的AI平台,为各方带来了显著而持续的收益,也提升的用户的体验。从效果上来说,AI平台使大部分营销活动的有效增益提升了2倍以上,有些达到了数倍之多。

从DIKW金字塔和人类感官的演化谈AI:去平均化的应用领域

所谓DIKW金字塔包括四层,即“D-数据”,“I-信息”,“K-知识”,“W-智慧”——每一层代表人类对客观世界认识的一个层面。 最底层的是数据、上面依次是信息、知识和智慧,构成了金字塔形的结构。

从数据到信息是传统IT比较专注的领域,通过数据库系统和ETL引擎,主要把相对粗糙、未经整理的数据转化为信息。所谓信息即结构化的产物,可以理解为数据库中的表等实体的总和。

而信息到知识是AI所做的事情,这个转化过程与数据库运算不同,因为它不是机械的数据处理和整合,而是从信息升华到知识的过程。

其核心之一是去平均化,这是人工智能帮我们做的很重要的一件事。例如,在营销领域,对于一个公司来说,平均客户价值是一百元,去平均化的过程告诉我们,不同客户对应的价值是不同的。这个可以通过AI,从过去的客户行为数据等属性中学习出来,建立自学习模型,预测每个客户的价值是多少。这些都非常有价值的信息。客户的实际价值,可能和与平均值差很远。

不光客户的价值,客户是否会购买一件商品,喜欢什么样的商品,以及如何促成一次购买,等等这些问题,都可以通过AI技术来帮助回答。

去平均化的应用领域不仅局限于营销领域,在其他商业相关或者医学相关的其他很多领域,都有很多去平均化的应用。好比医疗领域,基于医疗病例预测得坏血病的概率和再入院的概率,能够帮助医院挽救病人和降低医疗成本,这些应用已经在美国的一些大医院里开始使用。

人类感官的演化历程,如何定义AI系统模拟人脑的复杂性?

换一个视角,我们可以看看人类感官的演化历程,如何定义了AI系统模拟人脑的复杂性。

众所周知,计算机视觉,包括图像和视频识别等,其难度在感知类别的AI里是比较高的。我想其中一个原因是,人类视觉系统源自原始动物的视觉系统,这个演化时间最长,超过了2亿年。

相比而言,交流用的有声语言演化了有10万年左右,而文字只演化了5千年左右。这样的演化历史,也符合AI处理语音和文本的难易程度。文本理解已经相当普及,而语音识别逐渐开始进入千家万户。我想,人工智能的难易程度是符合人类感官演化的。

如此类比,现代的专业知识,好比金融和医疗这些领域,它们的演化的时间不超过几百年。尽管有种种挑战,这些知识的演化历史印证着AI在这些行业的应用,可以取得比较显著的效果。

数据+AI带来的核心能力:海量数据支持下AI决策可以超越人脑

这里引用著名的科技思想家Kevin Kelly的一句话,说“AI是认知化”。如果说电力化带来了人工动力,那么认知化带来了人工智能。结合前面讨论的演化观点,我认为:感知方面,包括AI的视觉、听觉等,AI可以接近人脑。在支持专业决策的方面,在海量数据的支持下,甚至可以超越人脑。

举两个例子,分别是图像识别和金融风险控制来说明这点。图像识别方面,在权威的ImageNet图像识别竞赛的评测里,2010到2015这五年内,通过深度学习一系列的算法,计算机对1000多类物体的识别——就是让计算机给每张图片标注1000类中的一个类别,错误率从30%下降到5%,识别效果有了非常大的提升。

金融风控领域中通过AI输出模型的KS值,通常用来衡量风险识别有效性的一个指标,也可做到40%-50%甚至更高,有效的控制住风险,效果可以超越传统的人工方法。

数据,本身反映了事物的原理和规律。当你找到它的规律后,它可以去预测未知或未来的事情。因此,“数据+AI”的核心能力为我们构建了一个发展中的产业生态。这个生态分为两层:

说了这么多行业、职能和应用领域,其实不是所有领域都适合大范围使用AI。满足大规模商业应用的AI,应具备两个必要条件:

AI落地的挑战和思路

过去一段时间,我接触过很多公司,也发现其中存在的一些存在共性的挑战和思路:

第一,数据方面,有价值的数据已经在你的数据库里,很多时候是因为不懂得去挖掘数据价值,容易错失了利用AI的机会。举个例子,通过AI预测电商网站的访客价值。此前我任职的一个创业公司,通过AI算法优化了全球出行网站每月上亿UV的用户体验。

第二,人才方面,我觉得业界最缺的是AI产品经理。跟国内不少公司交流过,AI问题的复杂性之一在于结果的不确定性,而具备AI背景的产品经理少之又少,不能够很好地判断价值与方向,进而会导致相关产品或项目的搁置。当然这里面也有人才培养的问题,例如可以尝试鼓励优秀的AI工程师和科学家去主导相关产品的开发,在业务的指引下,充分发挥专业人才的积极性,探索可行的方向。

第三,跨领域和团队的交融与整合,打通数据的闭环,产品、工程、AI的紧密结合。这个需要比较长时间的磨合。在我们之前构建AI平台的经历中,涉及大量跨团队沟通、配合、相互支持的工作。AI得以有效实现,工程能力的建设尤为重要。AI不光是算法问题,由于大数据的体量、种类和实时性要求,如果没有强大的数据处理基础设施,很难在大数据上进行持续和大规模的AI应用。

举个例子,基于实际的需求,我们常用一种比较受到推崇的“lambda”架构,这个架构包括以下组成部分:

第四,AI落地中信任的问题。我觉得在解决行业实际问题里,很多瓶颈来自于信任的缺乏。信任本身是个很大的话题,在技术的层面上,这包括了对数据和对算法的信任。因此,一定范围内的数据共享可以增加信任,并可以带来全新的知识和洞察。一个相关的技术——区块链技术大家可能有听说过,简单来说是一个分布式的可信任的数据基础设施。基于这项技术的一个例子,最近荷兰16家公司组成的物流区块链联盟,通过这种形式的物流数据共享和打通,能够增加他们彼此间的信任,从中长期来看更有利于AI的落地。

综上所述,如果解决了这些问题,我相信企业会有比较大的空间利用AI来升级,不仅是行业中的大企业,中小企业也有很多的机会。运用AI领域的最佳实践,快速概念验证,风险可控的前提下落地生产,我相信将带来广阔的空间。

雷锋网注:本次活动为丁博士个人经验分享,观点不代表百度。

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
电动排烟天窗

山东聊城正鑫通风设备有限公司专业生产制造:通风气楼,薄型通风天窗,通风天窗厂家,屋脊通风天窗,屋顶风机,屋顶自然通风器,三角型排烟天窗,一字型排烟天窗厂家等通风设备;全面满足不同行业客户需求18063561168

上海申安医疗器械厂

上海申安医疗器械厂专业生产蒸馏水器、手提式灭菌器、立式灭菌器、卧式灭菌器,优越的性能,完美的售后服务,一定会成为你合格和合作伙伴。

广州正规专业人工翻译机构,海纳翻译,笔译口译,免费试译。

广州海纳百川翻译有限公司,正规专业人工翻译服务供应商。公司提供文档翻译,多媒体翻译,同传口译,交替传译,翻译审校润色,翻译本地化等服务。为全球客户提供全语种全行业翻译解决方案。

猫粮代理

加粮站平台提供全国上百种猫粮代理,致力于狗粮微商代理加盟,工厂一手货源直供一件代发,欢迎免费宠物粮代理咨询。

环氧胶配方

禾川化学专业从事胶粘剂配方分析,成分分析,配方开发,提供环氧胶,丙烯酸胶,环氧AB胶,聚氨酯胶,热熔胶,有机硅胶,灌封胶,密封胶,导电胶等配方分析、成分分析、配方开发,为胶粘剂相关企业提供一站式技术服务。

产品质量电子追溯平台

广州铭越防伪科技有限公司、铭越科技防伪查询中心、二维码、防伪查询

翼讯科技

厦门翼讯科技有限公司,领先的企业信息化服务提供商、ISP服务商、高新企业,提供全面的互联网产品,包括翼企魔方(网站建设)-自助建站系统、翼企微网(微信手机网站建设)、智能建站软件、云站群系统、网上商城等网络应用服务,以及企业邮局、域名注册、虚拟主机、云服务器等基础接入服务,十六年行业经验,为您提供专业、高效的互联网整体营销推广解决方案。

东海县老乡好食品有限公司

东海县老乡好食品有限公司成立于2006年,位于江苏省东海县双店镇洪夏路边,交通便捷,占地面积7830多平方米,主要以花生、兰花豆等坚果食品和农副产品加工、销售为主的连云港市农业产业化企业

干式冷却器

上海樊太制冷设备有限公司是专业从事中央空调和制冷设备开发设计生产销售服务的高科技企业,中央空调产品包括屋顶式空调机组、风管机、空调箱、冷水机、机房空调等。制冷设备包括冷风机、冷凝机组、干冷器等。联系电话:021-55890292/021-55890293

豪成地产

秉承着工匠精神,保持着“对每一个顾客的人生负责”的信念,为顾客提供更卓越的产品,为万千家庭提供更美好的生活。豪成将为您精心推荐新开楼盘,在售楼盘等楼盘信息,为您解决购房问题。

展会策划

點意空間历经20年发展,是一家综合型展览公司,致力为客户提供布展搭建,展会策划,博物馆设计,烈士纪念馆展陈,企业展厅,展台搭建,展览展示设计,空间设计等全方位一站式服务,为客户开启数字化体验新模式。

全局底部横幅