准确稀疏可解释 ICML 三大优点兼具的序列数据预测算法LLA Smola论文详解 2017 Alex (什么叫稀疏解)
雷锋网 AI 科技评论按：近日，ICML2017收录的一篇论文引起了雷锋网AI科技评论的注意。这篇关于序列数据预测的论文是 Alex Smola 和他在 CMU 时的两个博士生Manzil Zaheer 和 Amr Ahmed 共同完成的，后者目前已经加入谷歌大脑。
Alex Smola是机器学习界的重要人物，他的主要研究领域是可拓展算法、核方法、统计模型和它们的应用，已经发表超过200篇论文并参与编写多本学术专著。他曾在NICTA、雅虎、谷歌从事研究工作，在2013到2016年间任CMU教授，之后来到亚马逊任AWS的机器学习总监。MXNet 在去年成为 Amazon AWS 的官方开源平台，而 MXNet 的主要作者李沐正是 Alex Smola 在 CMU 时的学生。
以下雷锋网 AI 科技评论就对这篇名为「Latent LSTM Allocation: Joint Clustering and Non-Linear Dynamic modeling of Sequential>
背景
序列数据预测是机器学习领域的一个重要问题，这个问题在文本到用户行为的各种行为中都会出现。比如在统计学语言建模应用中，研究目标是在给定的语境下预测文本数据的下一个单词，这和用户行为建模应用中根据用户历史行为预测下一个行为非常类似。准确的用户行为建模就是提供用户相关的、个性化的、有用的内容的重要基础。
一个好的序列数据模型应当准确、稀疏、可解释，然而目前所有的用户模型或者文本模型都不能同时满足这三点要求。目前最先进的序列数据建模方法是使用 LSTM（Long-Short Term Memory）这样的 RNN 网络，已经有许多例子证明他们可以有效地捕捉数据中的长模式和短模式，比如捕捉语言中表征级别的语义，以及捕捉句法规律。但是，这些神经网络学到的表征总的来说不具有解释性，人类也无法访问。不仅如此，模型所含的参数的数量是和模型能够预测的单词类型或者动作类型成正比的，参数数量往往会达到千万级甚至亿级。值得注意的是，在用户建模任务中，字符级别的 RNN 是不可行的，因为描述用户行为的往往不是单词而是 hash 指数或者 URL。
从另一个角度看这个问题，以 LDA 和其它一些变种话题模型为代表的多任务学习潜变量模型，它们是严格的非序列数据模型，有潜力很好地从文本和用户数据中挖掘潜在结构，而且也已经取得了一些商业上的成果。话题模型很热门，因为它们能够在不同用户（或文档）之间共享统计强度，从而具有把数据组织为一小部分突出的主题（或话题）的能力。这样的话题表征总的来说可以供人类访问，也很容易解释。
LLA模型
在这篇论文中，作者们提出了 Latent LSTM Allocation（潜LSTM分配，LLA）模型，它把非序列LDA的优点嫁接到了序列RNN上面来。LLA借用了图模型中的技巧来指代话题（关于一组有关联的词语或者用户行为），方法是在不同用户（或文档）和循环神经网络之间共享统计强度，用来对整个（用户动作或者文档）序列中的话题进化变化建模，抛弃了从单个用户行为或者单词级别做建模的方法。
LLA 继承了 LDA 模型的稀疏性和可解释性，同时还具有 LSTM 的准确率。作者们在文中提供了多个LLA 的变种，在保持解释性的前提下尝试在模型大小和准确率之间找到平衡。如图1所示，在基于Wikipedia数据集对语言建模的任务中，LLA 取得了接近 LSTM 的准确率，同时从模型大小的角度还保持了与LDA 相同的稀疏性。作者们提供了一个高效的推理算法用于LLA的参数推理，并在多个数据集中展示了它的功效和解释性。
柱状图是参数数量，折线是复杂度。根据图中示意，在基于 Wikipedia 数据集的语言建模任务中，LLA 比 LDA 的复杂度更低，参数数量也比 LSTM 大大减少。
LLA 把分层贝叶斯模型和 LSTM 结合起来。LLA 会根据用户的行为序列数据对每个用户建模，模型还会同时把这些动作分为不同的话题，并且学到所分到的话题序列中的短期动态变化，而不是直接学习行为空间。这样的结果就是模型的可解释性非常高、非常简明，而且能够捕捉复杂的动态变化。作者们设计了一个生成式分解模型，先用 LSTM 对话题序列建模，然后用Dirichlet 多项式对单词散播建模，这一步就和 LDA 很相似。
假设话题数目为K、单词库大小为V；有一个文档集D，其中单篇文档d由N个单词组成。生成式模型的完整流程就可以表示为（上图 a 的为例）：
在这样的模型下，观察一篇指定的文档d的边际概率就可以表示为：
式中，
就是文档中给定某个话题下的前几个词之后，对下一个次生成话题的概率；
则是给定了话题之后生成单词的概率。这个公式就展现出了对基于 LSTM 和 LDA 的语言模型的简单改动。
这种修改的好处有两层，首先这样可以获得一个分解模型，参数的数量相比 RRLM 得到了大幅度减少。其次，这个模型的可解释性非常高。
另一方面，为了实现基于 LLA 的推理算法，作者们用随机 EM 方法对模型表示进行了近似，并设计了一些加速采样方法。模型伪码如下：
作者们认为，模型直接使用原始文本会比使用总结出的主题有更好的预测效果。所以在 Topic LLA之外，又提出了两个变体 Word LLA 和 Char LLA （前文 a、b、c 三个模型），分别能够直接处理原文本的单词和字符（Char LLA自己会对字符串做出转换，从而缓和 Word LLA 单词库过大的问题 ）。
在几个实验中，作者们把60%的数据用于训练模型，让模型预测其余40%作为任务目标。同步对比的模型有自动编码器（解码器）、单词级别LSTM、字符级别LSTM、LDA、Distance-dependent LDA。
柱状图部分的参数数量用来体现模型大小，折现的复杂度用于体现模型的准确率。可以看到，两个任务中 LDA 仍然保持了最小的模型大小，而单词级别LSTM表现出了最高的准确率，但模型大小要高出一个数量级；从单词级别LSTM到字符级别LSTM，模型大小基本减半，准确度也有所牺牲。
在这样的对比之下就体现出了 LLA 的特点，在保持了与LDA 同等的解释性的状况下，能够在模型大小和准确度之间取得更好的平衡（目标并不是达到比LSTM更高的准确率）。
其它方面的对比如下：
收敛速度 LLA的收敛速度并没有什么劣势，比快速LDA采样也只慢了一点点。不过基于字符的LSTM和LLA都要比其它的变体训练起来慢一些，这是模型本质导致的，需要在单词和字符层面的LSTM都做反向传播。
特征效率 作者们做了尝试，只具有250个话题的三种 LLA 模型都比具有1000个话题的 LDA 模型有更高的准确率。这说明 LLA 的特征效率更高。从另一个角度说，LLA 的表现更好不是因为模型更大，而是因为它对数据中的顺序有更好的描述能力。
解释性 LLA和LDA都能对全局主题做出揭示，LLA 总结出的要更加明确。如下表，LDA 会总结出“Iowa”，仅仅因为它在不同的文档中都出现了；而 LLA 追踪短期动态的特性可以让它在句子的不同位置正确切换主题。
联合训练 由于论文中的模型可以切分为 LDA 和 LSTM 两部分，作者们也对比了“联合训练”和“先训练 LDA，再在话题上训练 LSTM”两种不同训练方式的效果。结果表明，联合训练的效果要好很多，因为单独训练的 LDA 中产生的随机错误也会被之后训练的 LSTM 学到，LSTM 的学习表现就是由 LDA 的序列生成质量决定的。所以联合训练的状况下可以提高 LDA 的表现，从而提高了整个模型的表现。
论文地址：
雷锋网 AI 科技评论编译整理。
原创文章，未经授权禁止转载。详情见 转载须知 。
辽宁沈阳金辉建筑设计有限公司18年建筑工程设计经验，建筑资质齐全,「专业」沈阳建筑设计公司,现有注册工程师10余人,高级职称技术人员30余人。✅承接:景观设计,结构加固设计,厂区规划设计,建筑设计,市政设计
同花顺官方软件下载中心―同花顺全系列股票软件下载.为您提供上证、深证、港股、美股、外盘指数等实时股票行情信息,您还可以通过模拟炒股、股民学校等功能学习股票入门知识。
百度网民权益保障计划，致力于让用户更放心的使用百度搜索引擎。网民登录百度帐号点击搜索推广或带有“保”标识的结果，如因假冒官网、资质或钓鱼欺诈而蒙受经济损失，网民可向百度申请保障金，并得到百度在消费维权方面的支持。
安徽合团科技有限公司主营合肥400电话,合肥400电话办理,合肥办理400电话,合肥申请400电话,合肥400电话安装等业务，合肥400电话办理中心业务咨询热线:400-0551-400
中国联塑集团（中国联塑，股份代号：02128.HK）是中国国内大型建材家居产业集团，产品及服务涵盖管道管件管材产品、水暖卫浴、整体厨房、整体门窗、装饰板材、净水设备、消防器材、阀门、卫生材料、海洋养殖网箱、环境保护、建材家居、渠道与服务等领域。2018年营业收入达237.34亿元人民币。
苏州日佳装饰工程有限公司成立于2012年，公司主要服务于江苏、上海、浙江、安徽等地，主营:办公室装修、工业厂房装修、净化洁净厂房装修、实验室装修等公共空间装修。
北京泰安盛世办公家具公司是集生产,设计,批发销售,定制办公家具,办公桌椅,铁皮柜,文件柜,更衣柜,办公屏风工位隔断,上下床,货架,密集柜等家具的厂家,为您提供办公家具价格,设计,定做,维修等服务.
智慧读书网为热爱读书的书友提供全本完结畅销书，精彩书单推荐，并为书友提供全本的文学名著、小说、网络小说、爱情小说、玄幻小说、穿越小说等txt电子书下载和在线阅读。
专业定制：h5互动小游戏定制|抖音微信小程序游戏定制开发|h5游戏定制公司|手机游戏小游戏定制开发的游戏定制开发公司
要玩服品牌游戏每天为广大玩家提供最新的传奇包含、迷失传奇、神器传奇、专属传奇等、支持包服卡、跨服转区、签到免费领充值等
新浪舆情通是一款基于互联网信息聚合、文本挖掘和智能检索等技术的数据智能软件。用于发现互联网中的舆情信息，并对信息进行自动分类、智能过滤、自动聚类、主题检测和统计分析，实现对热点话题、突发事件的智能识别和定向追踪，帮助政府、媒体和企业、事业单位及时掌握
瑞奇文学网专注于2022年人气小说整理推荐，包括言情小说、玄幻小说、穿越小说、灵异小说、科幻小说、军事小说、快穿小说、奇幻小说、重生小说等。喜欢看小说，书荒不知道看什么小说就上瑞奇文学网！
人靠衣装，马靠鞍，在日常生活，不管男女老少，都需要穿合适的衣服，在服饰行业，有各种各样的服饰品牌，坤贵男装是很受男性消费者喜爱的男装品牌，服装款式多，质量好，性价比高，十分受欢迎，有些创业者感兴趣，想要加盟代理，但是，坤贵男装加盟怎么样，靠谱吗，坤贵男装隶属于泉琳贸易品牌公司，公司的总部在广东，在发展的过程中，公司主要从事男装的设计、...。
雷锋网按，就大量关于，杀手级机器人，的炒作来说，2017年在人工智能方面取得了一些显著的进步，阿尔法狗、冷扑大师等棋牌机器人能让顶级玩家陷入绝望，在现实世界中，机器学习正被用于改善农业，以及扩大医疗保健的覆盖面，但你最近和Siri或者Alexa对话过吗，如果有，那么你会知道，撇开这些炒作，以及踌躇满志的亿万富翁们，还有很多事情人工智能...。
2013年3月，Google花费4400万美元收购了多伦多大学的一家初创公司DNNResearch，这家公司在当时不仅没有任何产品，也压根没有生产产品的计划，它只有三位员工，当时已经六十余岁的多伦多大学计算机系教授GeoffreyHinton，和他的两个学生AlexKrizhevsky和IIyaSutskever，有人调侃，Googl...。
雷锋网AI科技评论按，3月29日，阿里云在云栖大会·深圳峰会上重磅亮相了阿里，NASA，首个武器，机器学习平台PAI2.0，接下来，本文会扼要介绍一下在PAI里实现的大规模深度学习的优化策略，自2012年DeepLearning的代表模型AlexNet在ImageNet大赛中力压亚军，以超过10个百分点的绝对优势夺得头筹之后，依托于建...。
字幕组双语原文，告别RNN，迎接TCN英语原文，FarewellRNNs，WelcomeTCNs翻译，雷锋字幕组，听风1996、君思、小哲，概述1.深度学习在FTS中的应用背景2.值得关注的FTS数据预处理实践3.时间卷积网络结构4.时间卷积网络在FTS中的实例应用基于TCN进行知识驱动下的股票走势预测与可解释性金融时间序列，FTS，...。
雷锋网按，近日，深度学习大牛YoshuaBengio在BeneficialAI大会上发表了一篇题为，创造人类水平AI，的演讲，分享了他对于极深网络，VeryDeepNN，和GAN等前沿技术的一些看法和思考，YoshuaBengio认为，极深网络在序列数据和高层抽象等领域具有巨大的发展前景；GAN虽然是前沿热点，但非常难以训练，因此开发...。
消息，近日，亚马逊机器学习部门原杰出科学家，VPAlexSmola与首席科学家李沐师徒二人已从亚马逊离职，并且确立新去向，进军大模型方向创业，此前两个月，与接近李沐师徒二人的AI行业人士交谈，获悉二人有离职打算，但直到今天，二人动态才最终确定，据微信公众号，亲爱的数据，消息，AlexSmola于2023年2月从亚马逊离职后...。
雷锋网消息，，安卓之父，安迪·鲁宾，AndyRubin，旗下智能手机初创公司EssentialProductsInc宣布，已获得亚马逊AlexaFund基金和腾讯等公司3亿美元的投资，除了亚马逊和腾讯，其他投资者还包括红点投资公司，Redpoint，、Playground、AccessTechnologyVentures、VYVapi...。
消息称亚马逊将对企业和技术部门裁员1万人，规模创历史之最11月15日消息，据外媒报道，亚马逊计划在企业和技术部门裁员约1万人，预计最快在本周开始，知情人士们表示，裁员主要集中在亚马逊的设备部门包括语音助手Alexa，以及零售和人力资源的部门，他们补充称，裁员的规模还没有最终敲定，如果保持在1万人，将占公司总员工数的3%，裁员消息于当地...。
2012年，被称为深度学习鼻祖的杰夫·辛顿，GeoffreyEverestHinton，在NIPS上发布文章介绍了通过训练大型深度卷积神经网络把ILSVRC训练集中的图像进行分类实现了误差率的大幅降低，这也被认为是这一轮AI热潮的开始，随后，深度神经网络日益流行，许多优秀的变体相继出现，如AlexNet、GoogLeNet、VGGNe...。
苹果有Siri，微软有Cortana，亚马逊有Alexa，谷歌有GoogleAssistant，如今，三星也正式加入了智能语音助手这一战场，据外媒报道，在经过几个月的各种传闻之后，三星日前正式确认，其语音助手的名字为Bixby，预计将会取代此前的SVoice，去年，三星宣布收购VivLabs，该公司的联合创始人是，Siri之父，Dag...。
深度学习的发展带给人工智能领域的影响可谓是革命性的，然而该领域目前还存在很多未解决的问题，其中就包括不可解释性等问题，而希伯来大学计算机科学家和神经学家NaftaliTishby等人提出的，信息瓶颈，理论，则尝试来解决神经网络的一系列问题，自提出以来便一直受到AI界的广泛关注，IBM研究院也开展相关研究来分析这一理论，以期能够解决神经...。
1、远大视野2005年，韩晓光上大学的那一年，中国的图形学历史刚经历了一个高光时刻，那一年，以沈向洋、郭百宁等人为首的微软亚洲研究院，MSRA，研究团队在世界图形学顶级会议SIGGRAPH上发表9篇论文，占当年SIGGRAPH全球论文接收总量，98篇，的十分之一，这也构成了一代微软人的记忆与自豪，韩晓光不是微软人，后来也未曾在微软实习...。
发表在当贝投影仪2018，12，2620，29当贝投影F1是什么样的参数配置，投影网上都有介绍，但是今天这篇文章不一样，这篇文章主要给大家分享一下当贝投影F1的一些特色首创小功能，特别是遥控器，一个小小的按键超级好用、方便，简直要逆天！！看到下图的遥控器侧边没，有一个小小的按钮，红色圈圈那~这里为两种情况，一种是长按和短按，按一下，，...。
VEZ乐BOX拆解全过程图文版，让你看看内部各个配件！VEZ乐BOX这款投影仪精致小巧，销量也是相当不错的，买去这款投影仪的同学是不是很好奇，这VEZ乐BOX投影里面到底长什么样子呀，我这边呢，就满足大家的好奇心，拿VEZ乐BOX这款投影仪做一番拆解，给大家看看它的内部结构到底是什么样的，这就是我们本次拆机的主角——VEZ乐Box智能...。
对于新手来说，进入这个领域可能会感到迷茫，但通过有效的策略和不断的学习，任何人都可以从新手成长为专家，本文将探讨成功的广告联盟策略，并结合实际案例展示如何实现这一转变，第一步，选择合适的广告联盟在开始之前，新手需要选择一个合适的广告联盟，选择时要考虑联盟的信誉、支付方式、提供的广告类型以及支持的产品或服务，例如，亚马逊联盟，Amazo...。
卤味和熟食也是成为餐桌上比较常见美食，随着市场当中对美味而营养卤味熟食的需求增大，让经营者都看到创业商机，想要选择品牌进行加盟，实现自己创业梦想，作为这个行业当中的有名品牌，老昌熟食，不仅仅有名气，自身受众群体也很广泛，具有较好发展前景，那么，老昌熟食加盟费多少，老昌熟食在熟食行业当中口碑较好，经过多年经营，也赢得很多广大客户信任，另...。
