斯坦福大学CS博士生带来全面解答 用PyTorch还是TensorFlow (斯坦福大学创始人)
雷锋网 AI 评论按：关于深度学习的框架之争一直没有停止过。PyTorch，TensorFlow，Caffe还是Keras ？近日，斯坦福大学计算机科学博士生Awni Hannun就发表了一篇文章，对比当前两个主流框架PyTorch和TensorFlow。
雷锋网 AI 科技评论编译如下：
这篇指南是我目前发现的PyTorch和TensorFlow之间的主要差异。写这篇文章的目的是想帮助那些想要开始新项目或者转换深度学习框架的人进行选择。文中重点考虑训练和部署深度学习堆栈组件时框架的可编程性和灵活性。我不会权衡速度、内存使用情况等性能。
结论
PyTorch更适合于在研究中快速进行原型设计、业余爱好者和小型项目，TensorFlow则更适合大规模的调度，尤其当考虑到跨平台和嵌入式调度操作时。
准备时间
优胜者: PyTorch
PyTorch实际上是NumPy的替代，它支持GPU，有着更高级的功能，可以用来构建和训练深度神经网络。
如果你熟悉NumPy、Python和常见的深度学习概念(卷积层、递归层、SGD等)，那么学习Python对你来说会很容易。
而TensorFlow则可以看成是一种嵌入Python的编程语言。当你在编写TensorFlow代码时，它们会通过Python编译成一张图，然后由TensorFlow执行引擎运行。我看到过刚使用TensorFlow的人因为这个额外的间接层而苦思冥想。也因为如此，想用TensorFlow还需要学一些额外的概念，比如会话、图、变量作用域和占位符等。要运行基本模型，还需要更多的样板代码。使用TensorFlow的前期准备时间肯定比PyTorch要长。
图创建和调试
优胜者:PyTorch
创建和运行计算图可能是这两个框架最大的不同。在PyTorch中，图架构是动态的，这意味着图是在运行时创建的。而在TensorFlow中，图架构是静态的，这意味着先编译出图然后再运行。
下面是一个简单的例子，在PyTorch中可以使用标准的Python语言编写for循环结构
for _ in range(T):
h = torch.matmul(W, h) + b
你可以在这段代码的执行过程中改变T的值。而在TensorFlow中，需要使用控制流运算（ control flow operation ）来创建图，例如tf.while_loop。对于更常见的结构，TensorFlow可以执行dynamic_rnn语句，但是创建自定义的动态计算更加困难。
PyTorch中简单的图架构更容易推导，或许更重要的一点是，它更容易调试。调试PyTorch代码如同调试Python代码，可以使用pdb并在任何地方设置断点。而调试TensorFlow代码并不那么容易，你有两个选择，一是请求会话中你想要检查的变量，二是学习和使用TensorFlow调试器(tfdbg)。
优胜者:TensorFlow
因为PyTorch在逐渐发展，我认为两者之间的差距会缩小到零。然而，目前仍有一些TensorFlow支持但PyTorch不支持的功能，
此外，TensorFlow的contrib包中有更多比PyTorch更高级的函数和模型。
序列化
优胜者:TensorFlow
在这两种框架下保存和加载模型都很简单。PyTorch有一个特别简单的API，既可以保存模型的所有权重，也可以pickle全部类。
TensorFlow的Saver对象也很容易使用，并为检查点（check-pointing）提供了更多选择。
在序列化中TensorFlow的主要优点是可以将整个图保存为协议缓冲区。这包括参数和运算。此外，该图可以通过其他支持的语言(C++，Java)加载。这对不支持Python的调度栈来说至关重要。理论上，在改变模型源代码之后，你想要运行旧模型时它也能有所帮助。
部署
优胜者:TensorFlow
对于小规模的服务器端部署，两个框架都很容易封装在诸如Flask web服务器中。
不过，TensorFlow支持移动和嵌入式部署。可以确定的说，这比包括PyTorch在内的大多数深度学习框架支持功能的都要多。将TensorFlow部署到Android或iOS上确实需要大量的工作，但至少你不必用Java或C++重写模型的整个推理程序。
此外，TensorFlow Serving支持高性能的服务器端部署。我没有使用过 TensorFlow Serving ，因此不能很确信地写出它的利弊。由于机器学习服务使用的频率很高，我猜想这是人们坚持使用TensorFlow的充分理由。除了性能之外，TensorFlow Serving的一个明显特点是，支持轻松地换用模型而不会降低服务性能。
文档
平手
我在两种框架的文档中都找到了我需要的东西。Python的 API在两个框架中都有良好的文档记录，并且有足够的例子和教程来学习这两种框架。
一个比较边缘的问题是，PyTorch的 C语言库大多是无文档记录的，不过这只影响到编写定制的C语言扩展程序，而且这种操作是否有助于软件还存疑。
数据加载
优胜者: PyTorch
PyTorch中用于数据加载的API设计得很好。接口在数据集、采样器和数据加载器中有明确规定。数据加载器接收数据集和采样器，根据采样器的调度，在数据集上生成迭代器。加载并行数据就像把num_workers语句传递到数据加载器一样简单。
我在TensorFlow还没发现特别有用的加载数据的工具，例如readers, queues, queue runners等，都不够好。部分原因是因为将想要运行的所有预处理代码添加到TensorFlow图中并不总是直接的，例如计算时频谱（spectrogram）。
而且，API本身更繁琐，更难以学习。
设备管理
优胜者:TensorFlow
TensorFlow管理设备时的无缝性非常好。通常不需要规定任何东西，因为默认已经设好了。例如，如果GPU可用，TensorFlow将默认在GPU上运行。在PyTorch中，即使支持cuda，都必须明确地将所有东西移到设备上。
TensorFlow设备管理的唯一缺点是，即使你只使用一个GPU它也会默认占用所有GPU的显存。简单的解决方法是用CUDA_VISIBLE_DEVICES语句指定显卡。但有时会忘了设置，所以当GPU实际上处于空闲状态时，会显示内存不足。
在PyTorch中，代码需要更频繁地检查CUDA的可用性和更明确的设备管理，当编写能够同时在CPU和GPU上运行的代码时尤甚。另外，将GPU上的PyTorch Variable转换为NumPy数组有点繁琐。
numpy_var = variable.cpu().data.numpy()
自定义扩展
优胜者:PyTorch
在这两种框架中都可以用C语言、C++或CUDA构建或绑定自定义扩展。但TensorFlow需要更多的样板代码，即使它支持多种类型和设备。在PyTorch中，只需为每个CPU和GPU版本编写一个接口和相应的实现。用这两种框架来编译扩展都很直接，并且不需要下载除了pip安装包之外的任何头文件或源代码。
扩展
TensorBoard是用于展示训练机器学习模型过程的可视化工具。它是TensorFlow自带的最有用的功能之一。只需要通过训练脚本中的一些代码片段，就可以查看任何模型的训练曲线和验证结果。TensorBoard作为web服务运行，它可以非常方便地将存储在无头节点（headless node）上的结果可视化。
我在用PyTorch之前一直在用这种功能并尝试找到能替代这种功能的选择。值得庆幸的是，目前至少有两个开源项目支持这种功能。一个是 istensorboard_logger ，另一个是。istensorboard_logger库甚至比TensorFlow中的TensorBoard摘要数据更容易使用，不过需要安装TensorBoard来使用。crayon完全能取代TensorBoard，不过需要更多的设置(支持Docker是先决条件)。
是一个更高级的API，可配置后端，支持TensorFlow、Theano和CNTK，也许在不久的将来也会支持PyTorch。Keras就像TensorFlow里的tf.contrib库一样。
我上面没有讨论Keras，不过它使用起来特别容易。它是调试最常用的几种深度神经网络架构最快的方法之一。不过它的灵活性不如PyTorch或core TensorFlow。
谷歌在2017年2月发布了 TensorFlow Fold 。该库构建在TensorFlow之上，支持更多动态图构建，主要优点是动态批处理功能——可以对不同规模的输入数据（如解析树上的递归网络）自动进行批量计算。在可编程性上，它的语法不如PyTorch直接，不过在某些情况下，批量处理带来的性能改进可以让我们忽略语法上的不足。
雷锋网 AI科技评论
原创文章，未经授权禁止转载。详情见 转载须知 。
迷彩虎是一档融合游戏、影视和动漫元素，集专业性与娱乐性于一体的科普节目。
提供最新上市的高性价比房源，和预测市场走向，让您了解当前的二手房信息。
昆山百御成印刷技术有限公司。是一家专业致力于加工各种PI膜印刷加工-PET印刷加工-NOMEX印刷加工企业。公司成立于2008年, 是集染色前表面处理,配色,输出,印染,印后加工为一体企业, 拥有不干胶染色凹版印刷机/电晕处理机/离子风静电除尘等设备。 技术专长 我们是一支拥有多年的印刷染色管理团队，经验丰富、技术高超的技术人员及高性能的印刷设备结合专业印刷, 将确保您想得到的印刷效果。 在生产过程中，我们努力工作，以符合设计设定的期望和利用，有效地控制操作系统的运行时间和成本。
浙江硕业电力科技有限公司，主要生产电力变压器，互感器，户内外高压真空断路器等电器产品。是乐清柳市地区高压元器件专业制造商之一，国家电网，南方电网入网单位。2022年荣获
广西东兴统源食汇商贸有限公司
宜昌牛铺兴-宜昌商铺信息网！宜昌商铺转让出租、宜昌快速转店、生意转让、商铺、写字楼、厂库房招租转让，找店转店先上牛铺兴直接联系店主或房东，宜昌商铺信息共享服务平台宜昌牛铺兴！
网站宣传、网页制作-获嘉县洪翔广告传媒有限公司
禾匠科技专注于电商系统开发,以微信小程序商城、公众号商城、H5商城、字节跳动小程序（抖音/今日头条）、支付宝小程序商城、百度智能商城小程序为载体，独立研发了禾匠榜店商城管理系统，为客户提供支全端小程序电商源码系统。
深圳市恩阳电子有限公司(www.skyray-fisher.com)主营电镀测厚仪,菲希尔油缸镀层测厚仪,环保ROHS检测仪!公司不仅具有精湛的技术水平，更有良好的售后服务和解决方案,欢迎来电洽谈
微小网(VX.com)为您提供3d模型、3d打印、cad、solidworks、autocad、catia、ug等cad图纸和3d模型下载、及CAD教程、工业设计。我们相信：每一个微小的创意，都可以改变世界！
Enhancer是专业的一站式信息系统开发云平台。绝大多数情况下，您只需编写SQL，无需编写代码，即可快速完成各类系统的开发，并且获得可直接部署在您私有环境的应用程序。极大降低您的开发、运维、迭代成本。
✅我爱建房网是一家专业的别墅房屋建筑设计图纸平台网站，有海量的农村自建房设计图、别墅房屋设计图库，提供专业的房屋建筑图纸设计定制及施工服务，我爱建房致力于为广大自建房朋友提供全套别墅图纸设计图纸定制解决方案（涵盖临街门面房商铺方案设计），2023年新款别墅设计网联系电话400-6829-799
在上小学的时候就会涉及很多和数学有关的知识和题目，如果这个时候能够对孩子进行积极的引导，那么就能让他们对数学产生更大的兴趣，为了可以让孩子更喜欢数学，接下来要带来的是小学数学趣味游戏大全，在这些游戏中都会有很多涉及到小学数学相关的设定，可以带着孩子一起参与到这些游戏中，能够进行一些数学知识的巩固，同时也可以让孩子掌握到一些更加高难度的...。
如果问逛超市最头疼的事情，相信很多人都比较讨厌排队，不过，随着新零售和数字化技术的发展，如今在很多的零售实体中都大为改观，进超市、挑选喜爱的商品、扫描条形码、最后线上支付，这样一套购买流程，已经在物美超市实行了四年，而且，伴随着移动互联网和电商、O2O等行业的成熟，更多的95后、00后消费者已经习惯于在手机上选购商品，等着骑手或快递送...。
诺基亚旗下的奢华品牌Vertu推出了旗下第一款Android手机，也是诺基亚旗下的第一款Android手机，这算不算是诺基亚的一个试水尝试呢，这款手机名为VertuTi，使用了钛金属和蓝宝石玻璃，3.7寸的屏幕以及QualcommSnapdragon1.7GHz双核处理器、1GBRAM以及64GB内置储存，Android系统版本为4....。
随着生活水平的提高和家长们对婴幼儿早教意识的增强，婴幼儿水育服务的市场成为一片蓝海，水育可以很好激发孩子的潜能，为今后的学习打下扎实的基础，鱼之乐婴童水育游泳馆凭借其专业的水育理念、安全舒适的环境和丰富的课程内容，赢得了广大家长的信赖和青睐，推出市场之后掀起一股消费潮流，广阔发展前景，引起一些创业者的关注，那么鱼之乐婴童水育游泳馆学费...。
文字链接认证代码普通联盟标志认证代码企业广告联盟标志认证代码广告联盟评测代码说明，本页面的认证代码为缤纷广告联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在缤纷广告联盟网站首页底部或友情链接位...。
装置3.95及以前的版本的锐捷，破解那个文件，我这里有破解好的文件，须要的话可以发给你，依照我说的方法把那个文件交流了就可以了，锐捷经过认证了，然而无线的无法上网，锐捷，win7下可以用3.95班的破解版，这物品四处有楼主自己找找就可以处置的，然先手机经过usb或许蓝牙同步抑或电脑网卡wifi相连就可以高速上网了，我记得我以前用的破解...。
求教各位大咖，牧游侠的四驱有中央差速器，四驱形式下能在铺装路面行驶吗，求教各位大咖，牧游侠的四驱有中央差速器，四驱形式下能在铺装路面行驶吗，谢谢回复，刚开局关注这个车，哈H5和雷斯特W硬衔接四驱听说是这样，高速不能利索转弯，技术嘛，云贵川也跑过不少，基本什么路况都遇到过，但机械功能的事件，你是不能用技术去补偿的，两驱形态下是后驱上班，...。
FlowHeater是一款数据源转换软件，持使用灵活的图形定义转换来连接广泛不同的数据源和目标，还可以结合MySQL适配器管理数据，非常的方便实用
富士2150n打印机驱动是款针对富士旗下的2150n型号打印机打造的驱动程序。它是打印机与电脑之间的桥梁，可以解决打印机出现的无法识别等问题
MySQL是一种关系数据库管理系统，它被广泛用于开发各种类型的应用程序。在餐饮行业，点餐系统是非常常见的应用。本文将重点介绍如何使用MySQL实现点餐系统的配送管理功能，并提供具体的代码示例。一、数据库设计在设计数据库之前，首先需要明确系统的需求和功能。点餐系统的配送管理功能包括以下几个方面：配送员管理：记录配送员的基本信息，包括姓名、手机号码等。订单管理
离境失联女讲师父亲：她被领导针对
卢卡申科拒绝撤走瓦格纳，称波罗的海国家“愚蠢”,瓦格纳,俄罗斯,卢卡申科,波罗的海,北约成员国
现在我们所使用的手机大部分都是智能手机，在我们的手机上，应该有很多朋友下载了手游软件，在软件商城，有各种各样的手游软件，龙创手游是其中的一款，龙创手游设计的好玩刺激，用户下载量很大，一些对手游感兴趣的创业者想要加盟，但是，龙创手游加盟条件，加盟龙创手游多少钱，龙创手游品牌公司是一个互联网科技品牌公司，品牌公司位于我国的福建，在公司运营...。
王者荣耀，爆火，不但为腾讯吸金无数，就连，王者荣耀，主播都赚翻了，有网友爆料，昨晚，在某，王者荣耀，主播直播时，有一名女大学生豪刷1亿触手币礼物，要求该主播5年内不准恋爱，一夜之间火遍网络，因为触手币和人民币的兑换比例是1比1000，1亿触手币也就是10万人民币，网友表示，花这么多钱追星真是脑残，如果是我女朋友果断分手，一看就是...。
运输流程透明可视，运输数据安全可控，这是每一个企业物流部门对于自己数字化转型的美好憧憬，随着物流行业数字化转型的加速，大量企业纷纷上云，物流环节也不例外，而上云的收益也越来越明确，车货匹配效率不断提高，返程空驶率在不断降低，运输过程也变得透明可视，这些都使得物流的运营效率有了大幅提升，但是，上云的，安全，问题依然让不少物流人员对云望...。
上面说的，只是理论上的，实际上的做法是，不管多大，一概不发布消息，因为预测不是百分之百的准确，存在偏差，一旦公布，引起的社会反应却是巨大的，如果错了，恐怕不好收场，只能是内部通报，极少数相关单位秘密通知，做好相应的准备，可惜，我们好像连这个机制也没有，512大地震的死亡人数是多少截至5月13日下午16点，四川省地震灾害与抗震救灾工...。
我国的鬼节有三月三、清明节、中元节、寒衣节四个节日，三月三是每年农历三月初三，2022年三月三为4月3日，清明节在每年公历4月5日前后，2022年清明节为4月5日，中元节是每年农历七月十五，2022年中元节为8月12日，寒衣节是每年农历农历十月初一，2022年寒衣节为10月25日，鬼是在人类蒙昧时期，对生命的一种加长，东西方文明关于生...。
