Execution TensorFlow推出Eager 紧跟未来深度学习框架需求 (executive)

文章编号:46333 资讯动态 2024-12-10 TensorFlowExecutionGoogleEager

雷锋网按:Google的TensorFlow是AI学习者中使用率最高、名气也最大的深度学习框架,但由于TensorFlow最早是基于Google的需求开发的,在实际使用上也会存在如 文档乱、调试难 等诸多缺点,而且开发时间比较早未能及时对一些新的需求进行反应(据雷锋网了解,由于缺乏类似PyTroch、DyNet的动态图功能,LeCun就不止一次吐槽过TensorFlow是“过时的深度学习框架”(yesterday deep learning framework)),而针对用户的需求,Google也在对TensorFlow不断改进。在10月31日,Google为TensorFlow引入了动态图机制Eager Execution,而Google Brain Team的工程师Asim Shankar和Wolff Dobson也在Google官方博客发文详细阐述了这一功能带来的变化,雷锋网摘编如下:

同时Google还举了一些使用 Eager Execution 的直观例子,例如使用两个矩阵相乘的代码是这样编写的:

使用 print 或者 python 调试器检查中间结果也非常直接。

梯度与自定义梯度

大多数 TensorFlow 用户对自动微分感兴趣。因为每次调用期间可能会产生不同的运算,因此我们将所有的正向运算录到一个“磁带”上,并在计算梯度时进行反向运算。计算了梯度之后,这个“磁带”就没用了。

这一API与 autograd 包非常类似,例子如下:

在这里,gradients_function 先调用了一个预先定义的 Python 函数 square() 作为参数,并返回一个 Python 可调用函数 grad 来计算相对于输入的 square() 的偏导数。如以上例子中当输入为 3.0 时, square() 的计算结果为9,而 grad(3.0) 为对 square() 进行偏导,其计算结果为 6。

同样,我们也可以调用 gradient_function 计算 square 的二阶导数。

此外,用户也可能需要为运算或函数自定义梯度。这一功能可能有用,例如,它可以为一系列运算提供了更高效或者数值更稳定的梯度。

以下是一个自定义梯度的例子。我们先来看函数 log(1 + e^x),它通常用于计算交叉熵和对数似然。

上述例子中,当 x=0 时,梯度计算表现良好。然而由于数值的不稳定性,当 x=100 时则会返回`nan` 。使用上述函数的自定义梯度可用于分析简化梯度表达式。

使用 Eager 和 Graphs

Eager execution 使开发和调试互动性更强,但是 TensorFlow graphs 在分布式训练、性能优化和生产部署中也有着诸多优势。

当启用 eager execution 时,执行运算的代码同时还可以构建一个描述 eager execution 未启用状况的计算图。要将模型转换成图形,只需在新的 Python 进程中运行同样的代码即可。这一做法可以从检查点保存和修复模型变量值,这允许我们在 eager(命令式)和 graph(声明式)编程之间轻松转换。通过这种方式可以轻松地将启用 eager execution 开发出的模型导出到生产部署中。

在不久的将来,我们将提供工具来选择性地将模型的某些部分转换为图形。这样就可以融合部分计算(如自定义RNN单元的内部),以实现高性能并同时保持eager execution的灵活性和可读性。

新功能势必带来代码编写上的变化。Google还很贴心地给出了几个Tips:

更多内容可参阅 Google博客 。

原创文章,未经授权禁止转载。详情见 转载须知 。

紧跟未来深度学习框架需求,TensorFlow推出Eager Execution

全局中部横幅
自动秒收录(ZdmslCMS)

自动秒收录ZdmslCMS是一款免费收录分享优秀网址的网站导航,支持自动收录、自动审核、自动分类目录、获取图标、SEO信息、网站截图等等强大的功能,2024秒收录全新后台正式发布!

中创清洁能源发展(沈阳)股份有限公司

中创清洁能源发展(沈阳)股份有限公司

广州市皓萱堂珠宝首饰有限公司

广州市皓萱堂珠宝首饰有限公司新注册于2018年4月。公司的前身是美国一家大型首饰公司驻广州的采购办公室。

上海叶盛繁科技有限公司

上海叶盛繁科技有限公司位于上海闵行虹桥商务区,致力于为各行业用户提供领先的软件测试工具与软件评测服数据中心智能监控系统、信息系统及安全解决方案。

电泳涂装设备

亿诚涂装设备公司专业生产电泳设备,前处理设备,烘干设备,废气塔设备等。适用于汽配,家电,五金等。价格平民厂家直销!13655773436(张经理)

高光谱相机

彩谱科技是国际知名的光学仪器研发制造商.主营高光谱相机,多光谱相机,成像光谱仪,无人机高光谱相机,显微高光谱成像系统等仪器,覆盖400-1700nm的高光谱相机,有线扫描、面扫描的光谱相机,可搭载无人机和显微镜探索更多光谱信息。,300个光谱波段,支持定制!

ST
ST

ST公司(意法半导体)以业内最广泛的半导体芯片产品著称,寻找ST意法半导体公司授权ST代理商,采购ST公司意法半导体最大的ST代理商,在线订购ST公司芯片,获取ST公司技术支持.

工频高压发生器

脚扣、绝缘梯、检修支架、高低凳、移动式全绝缘升降平台、绝缘脚手架、绝缘橡胶板、各种安全围栏、警示带、安全帽、电力安全工具柜、安全帽报警器、绝缘靴、绝缘手套

东莞富鼎兴精密电子科技有限公司

东莞富鼎兴精密电子科技有限公司于2005年7月成立。位于环境优美、交通便利的东莞谢岗镇,占地9800平方米,总人数达350多人,是一家集产品设计开发、模具设计制造、五金冲压、锌铝合金压铸、滑轨、Hinge于一体的大型台资集团企业。拥有80~300T双轴台湾进口冲床23台,125T~900T锌铝压铸机9台。

一品世家

广西合浦一品世家食品有限公司位于风光秀丽的南珠之乡——合浦,一品世家主要生产蛋黄酥曲奇饼干,休闲零食小吃,月饼,合浦县是著名的还珠故郡,历史悠久,被誉为

首页

柏士达电源公司创建于2016年,是一批拥有20多年专业UPS经验的专业人事组建而成。主导产品BODAYN柏达昱能UPS,逆变器,稳压电源、电力工业级UPS、变压器和定制特殊机型等。功率容量分别覆盖1--720KVA,拥有百余种型号和规格。

潍坊东方银屑病研究院

潍坊银屑病医院哪家好?潍坊东方银屑病研究院附属潍坊银康医院(www.wfyxb.cn咨询电话:0536-3087125,微信:wfyxb120),建于1992年,由潍坊市卫生部门批准创办的潍坊治疗牛皮癣专科医院,是潍坊二级专科医院,山东省立医院联网医院,潍坊市慢性病医保定点医院.

全局底部横幅