云 大数据 004丨金山软件CEO张宏江 智能 AIR (云大数据中心是干什么的)
雷锋网按:本文整理自CCF - GAIR 全球人工智能与机器人峰会上,金山软件CEO兼金山云CEO 张宏江的演讲。
为什么过去几年人工智能有着这么快速的进步,张宏江认为,这 最终归结到大数据的进步和云计算的发展。
人工智能的进展很大程度归功于数据的进展, 全球产生消费的数据,2013年2020年将增长10倍,年增长率40%, 微信一天在朋友圈里交换的图片是10亿。
张宏江举例:如果把小米的用户已经存到小米云上的照片,5亿多张的话,就需要120万核,需要100P的存储空间,而今天中国的存量照片,这是2014年的数据,3000亿张的时候,需要的存储空间和计算量是多么地巨大。
20年前的梦想
手机上的应用,可以对人脸做一系列的处理,人脸识别以及年龄判断等。 这不是手机做的,而是在手机后端的云中运行,当手机拍了一张照片以后,在云上处理,再把结果拿回来,这个就是张宏江他们团队20那年前的梦想。
1997年张宏江团队在惠普实验室申请的一个专利,这是一个分布式的架构,数据从客户端拿到,然后再传到后端的系统上,做的一系列的处理,把结果推送到前端来。20年以后的今天,这件事情在一个手机上终于可以实现,更重要的是,它可在云和端上终于实现了。手机成为一个数据的获取终端,云作为整个的运算载体,整个数据的载体。
人脸识技术史是人脸数据库的扩张史,是人脸数据库+就算能力的扩张史
学术年代,90年代初做人脸的时候,所有学术时代用的数据库只有几百个人的人脸图片,即便在这种情况下机器人的识别能力依然非常低于人的识别能力,而且对光线要求非常高,需要正面图象。而在工业时代,2014年,大批量人脸识别率达97.35%,而在2015年达到99.63%。目前国内的公司在7000多万张标准照片再加上亿的其他照片, 人们用的深层网络已经超过30层,训练20块NVIDIA,精度已经远远超过人类。
AI+大数据+云:正在成为企业的标配
现在的企业没有大数据很难活下去,而大数据要靠云来支撑。 大数据包括高质量数据的获取和分析,和它整个在应用中的解析已经越来越成为公司的标配。当然这一切其实必须靠云来支撑,没有云就谈不上大数据,也谈不上大数据地获取、处理和大数据地运营。
云计算的应用场景
之后,张宏江讲述了云计算和大数据在已在以下领域的应用相对成熟: 游戏、视频云,只能硬件云,混合云。
云计算趋势
张宏江讲到云计算已车成为主流IT技术,互联网行业成熟最快的公司,在迅速达到100亿美元销售额的公司,C端的是Google、Facebook,B端的是亚马逊AWS大部分。当B端达到这么高的销售额,说明这个市场已成熟。
人工智能威胁与人工智能2.0
现场提问环节针对人工智能未来是否会对人类造成威胁的问题,以及
第一个问题,张宏江说到,这里有一个曲线,没有到奇点的时候人们是看不到的,无法判断。而针对人工智能2.0的问题,他认为也许人工智能2.0不一定为人来驱动,强人工智能的标志在能不能做问题的推理。未来人类可能不需要等待对人脑已经很了解之后再做人工智能,或者是再谈2.0。
最后张宏江总结到:
以下是张宏江演讲实录
我今天想讲的是从工业界的角度谈一下对AI的看法,为什么过去几年人工智能进步这么快。最终我会归结到大数据的进步和云计算的发展。
我们在座的大部分人都很清楚,我相信有些人可能第一次注意到人工智能也是今年三月份的阿尔法狗和李世石的精彩,比赛第一局的时候,我曾经和一些做研究的朋友打过一个赌,就是谁赢谁输,最后我很幸运地我赌在机器人上,所以最后在阿尔法狗赢了不少钱。
我们看到人工智能50多年历史,我们看到当The Buzz战胜了俄国大师以后没有进展,突然有一天我们看到阿尔法狗把全世界最好的大师以4比1的成绩大获全胜,大家可能会说算法进步很多,但我认为更重要的是大数据的进步,超级计算,云计算的进步。
我今天不想讨论阿尔法狗利用什么算法,我想分享的是它背后的数据和背后高性能的计算资源,它在进行比赛之前已经用人类的6到9段棋手的对局中获得了3000个数据进行训练,这些训练已经相当大了,而且它能毫无感情的自己跟自己下棋,中间又获得了3000多万的布点数据,这些人类棋手是很难做到的。真正下棋的时候,在系统本身所需要的计算资源,1900多个CPU、280多个GPU,耗费的能量是人的300多倍。这是在阿尔法狗跟人类对局之前,人们对于阿尔法狗的判断,最高设置这一块,它的段位已经达到了3168这样一个数字,但如果我们看人类大师的话,当时给它的数字是,李世石是3520多,在对比之前你会觉得大师可能还会赢,但人们没有想到的是,在过程中机器人学的是如此之快。
人工智能的进展很大程度归功于计算的进展,我们看一下这些年互联网突飞猛进的发展,全球产生消费的数据,2013年2020年将增长10倍,年增长率40%。互联网突飞猛进的时候,尤其移动设备的突飞猛进,我们看到照片的数据增长是如此迅猛,前面用的是美国的一些比较著名的网站,很遗憾,我拿不到国内大部分网站的数据。你可以看到,每天上传和分享的图片,图片已经超过了10几个亿,2014年我开始注意小米手机的数据,到2015年年初的时候,它的每日上传图片数据已经超过一亿张。前段时间马化腾谈到,今天微信一天在朋友圈里交换的图片是10亿,大家可能不会特别在乎10亿这个数字,但20年前,中国一年德胶卷消耗量是40亿,一年最多拍40亿张照片,今天也就是微信上四天的交换量。这从一个简单的量变带来的质变,尤其我们在做神经网络的时候,碰到的第一个问题,得到一个非常好的解决。我们再看一个具体情况,因为这数据是我自己从系统里拿出来的。把这些数据简单做成数列图,下次再往下看的时候不至于一开始就把整个照片荡下来,这就需要2400核2.6G的CPU,需要200T的存储空间。如果把小米的用户已经存到小米云上的照片,5亿多张的话,就需要120万核,需要100P的存储空间,而今天中国的存量照片,这是2014年的数据,3000亿张的时候,需要的存储空间和计算量是多么地巨大。
正是因为有了如此庞大数量的图片,使得我们以前认为,我们做神经网络的以前认为不可能完成的训练任务今天相对容易的完成。右边用的图是2011年纽约时报报道的一个工作,就是怎么让一个计算机自动识别出猫的脸,它用的数据基本上按我们以前AR里面谈的,就是一个蛮荒之力。16000个处理器做了1000万张照片,今天这个数字,这是2011年的数字,今天的数字对我们来说已经小菜一碟了。
今天手机上的应用,大家用手机的时候,手机可以对人脸做一系列的处理,一开始的时候,人们总是希望在手机上做一些比较酷的东西,比如拿照片猜年龄,这是小儿科的,20年前的时候我们就有这个想法了,但是今天我们在手机上终于实现了。以前我们拍了如此多的照片,我们只能按时间顺序和地点进行搜索,今天有了人脸检测,我打开面孔,这是我的照片,所有的跟我有通讯录的人的照片就全出来了,我点一下雷军的照片,所有跟雷军相关的照片都出来了。我们再看另外一个更多人的场合,当他第一次见到一些人的时候,这些人我以前没有做过任何标注,没有在我的朋友圈出现过的时候,它会问你这些人是谁,整个一套系统,今天不光是小米手机,只要有云功能的这些东西,只要背后有云支持的手机,今天做这件事情已经不困难了。
到底是什么样的力量,什么样的一种进度,让今天这种事情做起来显得如此简单,或者人觉得手机的功能如此强大,但我要告诉你,这不是手机做的,这是手机后端的云在做的,因为当手机拍了一张照片以后,云上做了处理,很快把结果拿回来,这个就我们20多年的梦想,我有一个数字为证,这是1997年在惠普实验室申请的一个专利,工作是1996年做的,最后专利是2000年批的。我们看两张图,第一张图是人脸识别对比图,第二年是我们在20年前提的架构,就是这是一个分布式的架构,数据从客户端拿到,然后再传到后端的系统上,做的一系列的处理,把结果推送到前端来。今天20年以后,这件事情在一个手机上终于可以实现了,或者更重要的是,在云和端上终于实现了。手机作为一个数据的获取终端,云作为整个的运算载体,整个数据的载体,终于把我们20年前的梦想实现了,很可惜,这个专利因为是1997年申请的,再有一天就作废了,所以我也没法管他们要专利费了。
我刚才讲这么多,再从学术角度来看,我认为过去这20多年人工智能的发展,特别是在人脸识别领域的20多年的进步,其实可以归结成是一个数据库的扩张,我们在90年代初的时候,做人脸的时候,所有学术时代用的数据库都是几百个人,因为数据积很小,你可以说它的识别率是95%到99%,但即使这样,机器人的识别能力依然非常低于人的识别能力,而且对光线要求非常高,而且一定要正面图象。当我们看到,随着数据的增加,再过十年,我们看到这些照片已经是上千人的,到了近万张照片,这时候识别的能力有了进一步的提高,而且对于表情、光线等的要求就没那么严格了。再进入2000年以后,数据量爆炸,这时候互联网的普及,数量如此多,到了LFW这个数据积的时候,已经差不多5000人的数据积,从而使得识别率更进一步提高,到了95%以上,时候工业界加入进来,学术界真正的有开始突破的时候,它的训练数据已经找到了更多的训练。
真正的人脸识别时代还是工业界的人认为这个问题可以开始实用了,工业界开始进入的时候,这时候的数据量跟学术界的数据量完全不是一个数量级,Facebook和Deepface它已经到了4.4M张图,4030个人,每人800至1200张图,到了谷歌、FaceNet的时候,已经到了2亿张图像,800万人,参数已经超过了14000万参数。我们看一下这个工作的话,在这块也看得非常明显,当我们的训练数量开始增加的时候,对于同一个模型精度的增加是非常相关的。当然,当数据量比较小,增加一个数量级的时候,改善也比较小。只有呈数量级的增加,才能获得小数点一位数的增加。我们看算法也同样,当算法变得越来越精确的时候,你所需要的计算能力,也是一个快速的增加。我们也可以看到,当计算的复杂度超过了十亿浮点的时候,可以看到检测精度的增加。
我们再看真正的工业界,以人脸识别为生的公司,最近几年的进展,我用了两个例子,商汤科技和依图,从他们那拿到的数据基本上是中国人口的数据,7000多万张标准照片再加上亿张其他照片,人们用的深层网络已经超过30层,训练20块NVIDIA,今天的精度已经远远超过人类,今天你要做任何坏事,只要留下一张照片,基本上就插翅难逃了,这就是今天商业解决方案已经达到的精度。
我还是想强调,如果没有如此多的照片,尤其中国的环境里面,所有网上行为连到一起的时候,你会发现判断的精度将有大大的增加。
我们再看一下,当我们的数据和识别精度和算法变得如此庞大的时候,从四年前的八成网络到今年的152层的识别的话,我专门拿到这个数据,今天神经元的元数已经到了2200万,最后降到5700万,当我们有数字大的蛮荒之力的时候,我们给人工智能带来了什么。所以我说数据是我们进步的核心,而且我们有一个说法,就是从来不会有太多的数据,数据从此不够。特斯拉号称有17万辆车每天在路上行驶帮它搜集数据,当依然出现当强光打过来的时候会造成误判,所以我们谈大数据的时候,永远谈的是解决的问题是什么。只有你比较简单的情况下,少量的数据才能满足你的要求,当你用复杂的模型的时候你的数据量一定是要远远超过你的训练所需,数据越多,覆盖精度越高,对于模型的依赖就会越少。
在大数据这件事情上,微软看得非常早,我们非常受人尊敬的Michael Wooldridge先生,在十年前就提出可学范式的概念,到了几百年前从牛顿力学还是,我们用理论的方式来解释,到今天我们用数据来驱动。
这本书是2009年出版的,我确实认为,今天我们到了进入第四范示的时候,数据在我们日常工作中起的作用和研究中起的作用是以前完全不可以比拟的。大数据包括高质量数据的获取和分析,和它整个在应用中的解析已经越来越成为公司的标配,如果你作为一家体量大的公司,没有大数据的分析,或者没有办法获得大数据,或者是你没有把这些大数据转换成专家的话,其实你在你的行业里已经很难生存。当然这一切其实必须靠云来支撑,没有云我们也谈不上大数据,谈不上大数据的获取、处理和大数据的运营。这是为什么看到今天一系列的云公司,尤其大规模云公司今天越来越强调数据的存储和处理,金山已经早进入云存储和云数据分析,无论是原始数据图片还是视频,每天大量的产生者,然后大量存储到云里面,然后被云处理和解析,这需要大量资源才能真正地做到我刚才说到的数据的消费,像人脸识别这些我们20多年前梦想能解决的问题。今天看到的智能平台,无论消费者的智能平台还是工业智能设备,大部分今天能做到的智能本身非常非常少,它的智能是藏在后端云里面。同样大家在座的知道,人工智能现象同时发生在过去几个月的网红视频直播,为什么这些公司一夜之间能冒出来,是它后面的支持技术,做了很多年的采接、编解码等等都已经由视频云计算公司给它提供了,所以你做网红直播,只需要找网红,只需要搭一个网站写一个APP,后端所有事情由云来提供了。
同样,医疗,今天中国医疗问题如此之多,谈不上精准医疗、精准康复,只有基于大数据云平台把这一系列连起来的时候,我们谈到的精准医疗和精准康复和社区医疗才能实现。同样在城市这块,我们今天有大华公司的代表在,大家都知道,在里约的奥运会上,绝大部分的摄像头都是大华,每天采集这么多数据,本身这就是智慧城市核心的一部分,当你把这些数据赋予运用,来进行利用的时候,才能真正感受到这些数据的价值。
同样,游戏这块更是如此,手游玩得那么爽,所有的智能分析都在背后,从而使得一款游戏什么时候上线,什么时候开新的服务等等,这一切都由背后的数据来驱动。
我说这么多,大家还是有疑问,就是云计算是不是还在云里雾里,我告诉大家,今天云计算已经真正落地了,这是Gaslnes每年一次的技术成熟度的分析。
同样市场上对于云计算公司的看法也非常非常乐观,如果我们看一下,回顾过去30年,在互联网里成长最快的公司,我们用一个数据来衡量,哪些公司最快的时间达到100亿美金,显然互联网公司快。一家叫做Facebook,一家叫做谷歌,只有一家2B的公司在十年内销售额达到了100亿美金,就是亚马逊云,当一个2B的业务赶上2C业务的时候,你就知道,人们对于这个需求是多么地庞大,当然,我就不再具体多讲。实际上市场给出的反应也很清楚,当你快速地在云里面进行投资,快速地在云里面进行成长的股票,你可以看到,市场给予的回报是最好的。
同样,对于我们在中国做人工智能的人来看,这个数字非常令人鼓舞,今天中国的互联网产值是美国的百分之几,我们想的是在今后几年,云计算产业的空间和增速是如此之快,这也是为什么金山在过去几年投入如此庞大的资源,使我们成为中国金山云计算的服务商,游戏云、视频云、智能硬件等等方面成为国内领军的企业。很重要的实际上市场的成长速度比我们想象的还要快。
我的结论是说,我们做人工智能的,当我们看到人工智能作为一个现象突飞猛进突破的时候,我们更应该注意到的是它后端的,不光是算法本身的突飞猛进,更重要的是支撑这个算法突飞猛进的大数据和云计算,所以我们看到的未来是前端一系列的智能设备,而它的大脑实际上在云里面,谢谢大家!
原创文章,未经授权禁止转载。详情见 转载须知 。