快手的推荐系统背后 英特尔做了什么 (快手的推荐系统)

文章编号:44667 资讯动态 2024-12-09 傲腾英特尔第三代至强快手

大数据时代,个人信息越来越透明,以至于手机APP都能读懂你我的心思,甚至能将信息精准地送达到每一个移动端。app开发者将其称之为“算法推荐”,商家将其称之为“个性化定制”。有人为推荐机制津津乐道,“原来手机比男朋友更懂我”,听到更多合口味的音乐,看更多爱好的视频;也有人感叹其恐怖,担心陷入算法布局好的陷阱,陷入信息茧房。

快手的推荐系统背后,英特尔做了什么?

虽然我们开始警惕推荐机制可能带来的危害,但对于企业而言,推荐机制蕴藏着巨大的价值,推荐系统的加速不会停止。

根据王喆老师的论文《深度学习推荐系统》[1]中的例子,2019年天猫“双11”的成交额是2684亿元,天猫推荐系统实现了首页商品的个性化推荐,其目标是提高转化转化率和点击率。假设推荐系统进行了优化,整体的转化率提高1%,那么增加的成交额大约为26.84亿元。由此可见,相比于对信息茧房的担忧,互联网巨头当然是更关心这笔数目不小的收益增长,进一步加速各自的推荐系统,短视频玩家快手也不例外。

根据快手官网数据显示,2015年6月,快手的单日用户上传视频量突破260万;2016年4月总用户数突破3亿。截止目前为止,快手累计200亿条短视频库存,每天仍有超过1500万条视频新增、千亿条视频曝光,早已从一个Gif生成工具蜕变成为一个日活3亿、日播放量200亿的短视频社区。

当构建起庞大的数字世界后,快手需要面对的问题是,如何在承载高峰期每秒数十万并发调用量的同时,从上亿级别的短视频库中,通过千亿参数级别的深度模型向不同的用户对象推送合适的内容,即其推荐系统的加速问题。

快手的推荐系统背后,英特尔做了什么?

为此,快手基于异构设备构建了计算与存储分离的推荐系统架构。 在该架构的内部,主要由两部分任务组成,一部分是包括推荐服务、预估服务、召回服务在内的计算敏感性服务,另一部分是包括用户画像、参数服务器以及分布式服务器索引的存储敏感性服务,这些模块需要实现大容量内存的数据存储及快速的数据访问。

提升训练速度的英特尔Cooper Lake

实际上,推荐系统加速的本质,一方面是人工智能应用的升级,机器需要对图片、视频等信息进行学习和分类;另一方面,则是对存储和访问的进一步需求。

今年6月,英特尔推出的第三代至强可扩展处理器Cooper Lake就是专为当今内置人工智能数据密集型服务而设计的处理器。 雷锋网了解到,英特尔第三代可扩展处理器进一步升级了DLBoost深度学习加速技术,同时,在深度学习加速架构下的VNNI神经网络指令支持bfloat16数据格式。与上一代平台Cascade Lake最顶级的CPU 8280相比,在图像分类处理上,Cooper Lake的计算性能提升1.93倍。

快手的推荐系统背后,英特尔做了什么?

在对人工智能的支持上,区别于第二代至强可扩展处理器支持的Int8数据格式和传统的FP32数据格式,bfloat16数据格式是采用16位存取一个数据,包括1个符号位,8个指数和7个尾数位,同时保证了数据的范围和精度。

快手的推荐系统背后,英特尔做了什么?

雷锋网了解到,虽然bfloat16的精度没有FP32的精度高,但是7位尾数对于大多数人工智能的推理计算模型而言,精度已足够使用。英特尔技术人员透露,相比于上一代基于FP32数据格式做训练,VNNI搭配bfloat16能使训练性能提高93%,推理性能提高90%。

Cooper Lake或将是快手加速推荐系统的好选择。

依托傲腾持久内存,加速存储与访问

更好地存储与访问,是快手在加速推荐系统过程中,需要面临的另一个问题。

在传统的存储架构中,大容量持久化存储主要在硬盘或者固态盘中,对于快手的推荐系统而言,尤其是参数服务器和分布式索引服务,从硬盘或固态盘中索引数据,工作量大,时延长。若将索引工作直接在内存中进行,就会降低访问延时,提高推荐系统的响应。

不过,在内存存储金字塔中,金字塔顶端的存储方案,性能高,存储低,单位容量成本高,金字塔低端则是容量大、性能低,成本低的存储方案,存在断层现象,比如常规的DDR4的内存和NAND的闪存,访问的延迟相差1000倍,典型的容量相差100倍,而单位容量的成本相差10倍。这一断层现象导致很多应用在选择方案时,难以找到比较平衡的设计。

基于这一难题,英特尔推出了傲腾持久内存,与上一代产品相比,其内存带宽提升25%,若搭配之后发布Ice Lake的平台,每处理器可带来4.5TB的总内存容量。同时,在做数据写入时,其访问延迟只有几百纳秒,而一个普通的NAND SSD的访问时间则在100微秒左右。

英特尔技术专家介绍,英特尔第三代至强可扩展平台与傲腾持久内存结合,可将服务器上每个节点的容量从原来的几百GB扩展至TB级别,例如一个4路、4个插槽的第三代至强可扩展处理器平台,每个插槽都搭配傲腾持久内存,支持的最大内存就可达到18T。

基于此,快手率先与英特尔展开合作,结合英特尔至强可扩展处理器平台和傲腾持久内存,快手推荐系统性能及TCO得到了优化和提升。 不仅大大降低了数据访问延迟时间,还缩短了系统故障恢复时长。

快手的推荐系统背后,英特尔做了什么?

同时,傲腾持久内存与DRAM内存性能表现相似,前者相比于后者更具成本和容量优势。因此在同英特尔的合作中,快手推荐系统的总拥有成本(CTO)降低了30%。

除了在推荐系统方面同英特尔合作,改善存储与访问速度之外,快手也正在同英特尔探讨成立联合实验室,推动业务创新及升级数据中心。

作为推荐系统的受益者,快手或将在进一步加速生态系统的过程中再次尝到甜头。

[1] 王喆,《深度学习推荐系统》,电子工业出版社

颠覆性变革!青松智慧携手英特尔AI百佳创新激励计划引领网络安全AI时代

英特尔全面的软硬件实力,将在新基建浪潮中全面爆发

放弃英特尔,苹果将启用自研 ARM 芯片

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
编程语言转换

正在寻找一个可靠的编程语言转换工具?我们提供快速、准确的高质量代码转换服务,帮助您轻松转换代码和编程语言,提高开发效率。

涂多多

涂多多是大型的化工原材料网上交易平台。产品涵盖:钛白粉、钛矿、乙二醇、碳酸钙、高岭土、树脂、乳液、助剂、兰炭、油漆、涂料等。以低廉的价格、优质的服务打造涂料化工行业具有影响力的涂料化工原材料交易平台。

来分发APP

小猪APP分发平台|内测分发平台|应用内测分发平台|IPA分发下载|APK分发下载|小猪分发为您提供APP应用内测、应用托管、内测分发、兼容测试等服务

三七文档

三七文档(www.777doc.com),是一个在线资料分享平台,拥有大量精品专业文档供您下载,用户可以分享上传各类文档获取收益,收入最高100%返还,打造更健康的C2C文档交易平台。

果胜问政

民有所呼,我有所应,侠之大者,为国为民!

仕诺涂料,上海仕诺涂料有限公司,仕诺涂料,上海柏伦涂料有限公司

仕诺涂料长期致力于建筑漆和涂料色浆在中国市场的广泛应用和发展,重视自主知识产权的高新产品的研发,并以先进的制漆工艺和崇高的企业声誉闻名业界。

同城花牌

同城花牌,花牌,松滋花牌,双别杠,我爱花牌,口袋花牌,公安花牌

压球机

河南正一机械制造有限公司专注研发生产压球机设备十几年,主营:高压压球机,低压压球机,型煤压球机,矿粉压球机,双输出超高压压球机,烘干机等各种压球机生产线设备,可将矿粉,型煤,铁粉,煤粉,钢渣,焦粉,干粉等物料压制成球,销售热线:13733876636

上海印刷厂

上海印刷工厂是一家专业提供各类高端印刷品、画册印刷、样本印刷、产品宣传册印刷、产品包装礼盒印刷、专业从事印刷二十余年。公司立足上海周边,服务全球,为客户提供设计印刷一条龙服务!

深圳瑞赛环保科技有限公司

深圳瑞赛环保科技有限公司技术团队由多名博士、硕士组成,研发型技术人员占比70%左右。公司在PCB、电镀、阳极氧化等行业根据废水性质开发“源头控制”废水处理工艺及设备,可以为企业创造资源增效价值,大幅削减危废处置和废水处理成本,解决环保设施升级空间受限等问题,减轻企业环保压力。公司于2019年12月获得国家高新技术企业认证,已获授权专利三十余项,其中发明专利两项。2021年10月通过ISO9001及ISO14001质量认证体系。

珠海伯轩医疗科仪有限公司

珠海伯轩医疗科仪有限公司,成立于1999年7月,拥有着先进的管理经验,精湛的工艺和优秀的技术人才。多年潜心专注于医疗护理、养老康复和家居护理等领域的设计研发,Acare品牌的各类型手动护理床、电动护理床、自动翻身床、急救推车、护理产床及护理周边设施等,获得来自全球超过900家客户的信赖与支持,并于2008年获得了“广东省著名商标”的荣誉称号。

滋补堂

滋补堂具有高度职业精神研发制造企业,专注于企业间(B2B)合作。主要从事保健食品、运动营养食品代工贴牌,我们有近50年的生产加工经验,保健食品代工剂型:软胶囊、硬胶囊、粉剂、颗粒剂、片剂、茶剂、保健食品原料(水提物、CO2超临界提取物)等;主要OEM代工产品有:灵芝孢子油软胶囊、破壁灵芝孢子粉、破壁灵芝孢子粉胶囊、硒胶囊、鱼油软胶囊、螺旋藻片、褪黑素软胶囊、辅酶Q10软胶囊、多维矿物胶囊、维生素C咀嚼片、钙片等。

全局底部横幅