Execution TensorFlow推出Eager 紧跟未来深度学习框架需求 (executive)

文章编号:46333 资讯动态 2024-12-10 TensorFlowExecutionGoogleEager

雷锋网按:Google的TensorFlow是AI学习者中使用率最高、名气也最大的深度学习框架,但由于TensorFlow最早是基于Google的需求开发的,在实际使用上也会存在如 文档乱、调试难 等诸多缺点,而且开发时间比较早未能及时对一些新的需求进行反应(据雷锋网了解,由于缺乏类似PyTroch、DyNet的动态图功能,Lecun就不止一次吐槽过TensorFlow是“过时的深度学习框架”(yesterday deep learning framework)),而针对用户的需求,Google也在对TensorFlow不断改进。在10月31日,Google为TensorFlow引入了动态图机制Eager Execution,而Google Brain Team的工程师Asim Shankar和Wolff Dobson也在Google官方博客发文详细阐述了这一功能带来的变化,雷锋网摘编如下:

同时Google还举了一些使用 Eager Execution 的直观例子,例如使用两个矩阵相乘的代码是这样编写的:

使用 print 或者 Python 调试器检查中间结果也非常直接。

梯度与自定义梯度

大多数 TensorFlow 用户对自动微分感兴趣。因为每次调用期间可能会产生不同的运算,因此我们将所有的正向运算录到一个“磁带”上,并在计算梯度时进行反向运算。计算了梯度之后,这个“磁带”就没用了。

这一API与 autoGRAD 包非常类似,例子如下:

在这里,gradients_function 先调用了一个预先定义的 Python 函数 square() 作为参数,并返回一个 Python 可调用函数 grad 来计算相对于输入的 square() 的偏导数。如以上例子中当输入为 3.0 时, square() 的计算结果为9,而 grad(3.0) 为对 square() 进行偏导,其计算结果为 6。

同样,我们也可以调用 gradient_function 计算 square 的二阶导数。

此外,用户也可能需要为运算或函数自定义梯度。这一功能可能有用,例如,它可以为一系列运算提供了更高效或者数值更稳定的梯度。

以下是一个自定义梯度的例子。我们先来看函数 log(1 + e^x),它通常用于计算交叉熵和对数似然。

上述例子中,当 x=0 时,梯度计算表现良好。然而由于数值的不稳定性,当 x=100 时则会返回`nan` 。使用上述函数的自定义梯度可用于分析简化梯度表达式。

使用 Eager 和 Graphs

Eager execution 使开发和调试互动性更强,但是 TensorFlow graphs 在分布式训练、性能优化和生产部署中也有着诸多优势。

当启用 eager execution 时,执行运算的代码同时还可以构建一个描述 eager execution 未启用状况的计算图。要将模型转换成图形,只需在新的 Python 进程中运行同样的代码即可。这一做法可以从检查点保存和修复模型变量值,这允许我们在 eager(命令式)和 graph(声明式)编程之间轻松转换。通过这种方式可以轻松地将启用 eager execution 开发出的模型导出到生产部署中。

在不久的将来,我们将提供工具来选择性地将模型的某些部分转换为图形。这样就可以融合部分计算(如自定义RNN单元的内部),以实现高性能并同时保持eager execution的灵活性和可读性。

新功能势必带来代码编写上的变化。Google还很贴心地给出了几个Tips:

更多内容可参阅 Google博客 。

原创文章,未经授权禁止转载。详情见 转载须知 。

紧跟未来框架需求,TensorFlow推出Eager Execution

全局中部横幅
微店官网

微店,从工具到流量,一站式解决社交网络开店的所有问题。为商家提供微信微商城、小程序分销、小程序商城、微信开店、微信分销等一体化多场景多行业的解决方案;帮助全行业商家玩转私域流量,实现业绩持续增长!使用商家超9000万,年GMV超1000亿。

优质安全的游戏软件app下载站

太狐下载网专门为移动用户提供优质安全且绿色的手机游戏软件app资源下载,每天持续更新全网一手最新的手机游戏软件,找资源就来太狐下载网。

欢太官网

欢太科技(HeyTap)是综合性全球互联网服务平台,现已推出包括欢太商城、软件商店、游戏中心、浏览器在内的多款互联网服务产品,目前服务覆盖全球40多个国家和地区,拥有超过3.1亿用户

河北米沃科技有限公司

河北米沃科技有限公司(简称:河北米沃),成立于2016年,目前坐落于河北省鹿泉区光谷科技园内,是一家以物联网、智慧城市、信息化系统集成为主的科技型企业。

成都成英科技有限公司

成英科技是四川成都一家专业从事聚氨酯保温组合料、聚醚多元醇等保温喷涂产品销售,以及聚氨酯保温喷涂施工的专业企业,在四川拥有较强的知名度和施工实力,服务行业涵盖了冷库、养殖场、仓库等多个行业,获得了客户朋友们的广泛好评。欢迎各位朋友莅临指导,电话:13558781838!

文秘汇

文秘汇(wenmihui.com)为您提供最新最全的实用文档资料,内容包括文秘写作、工作总结、工作报告、学生评语、工作计划、教案设计、合同模板、策划方案、心得体会、演讲致辞、个人评价、条据书信、等各类范文模板供参考下载,是您日常写作的好帮手。

今日汇率换算

99汇率网提供各国最新外汇汇率查询,用户可根据自身需求用汇率换算器实现今日实时汇率换算。

脱皮芝麻

专业脱皮芝麻、白芝麻仁、炒芝麻、色选芝麻、水洗芝麻、芝麻仁、芝麻油厂家,脱皮芝麻、炒芝麻批发热线:脱皮芝麻厂家脱皮芝麻技术、芝麻王、芝麻官。电话:4000221993

上海宽博清洁服务有限公司

上海宽博清洁服务有限公司上海宽博清洁服务有限公司成立于1998年7月,是一家正规专业(工商注册)的保洁公司,专职为来华投资的世界跨国公司提供建筑清洁保养的专业外包服务。

东莞市京立光学仪器有限公司

日本三丰量具,三丰卡尺,三丰千分尺,三丰千分表,三丰粗糙度仪,三丰高度尺,三丰测高仪,三丰投影仪,日本UnipulseF490A压力测试仪,压力传感器,电子称,天平,涂层测厚仪,光源箱,推拿力计,品,联系人:杜先生,联系电话:

全局底部横幅