斯坦福大学CS博士生带来全面解答 用PyTorch还是TensorFlow (斯坦福大学创始人)
雷锋网 AI 评论按：关于深度学习的框架之争一直没有停止过。PyTorch，TensorFlow，Caffe还是Keras ？近日，斯坦福大学计算机科学博士生Awni Hannun就发表了一篇文章，对比当前两个主流框架PyTorch和TensorFlow。
雷锋网 AI 科技评论编译如下：
这篇指南是我目前发现的PyTorch和TensorFlow之间的主要差异。写这篇文章的目的是想帮助那些想要开始新项目或者转换深度学习框架的人进行选择。文中重点考虑训练和部署深度学习堆栈组件时框架的可编程性和灵活性。我不会权衡速度、内存使用情况等性能。
结论
PyTorch更适合于在研究中快速进行原型设计、业余爱好者和小型项目，TensorFlow则更适合大规模的调度，尤其当考虑到跨平台和嵌入式调度操作时。
准备时间
优胜者: PyTorch
PyTorch实际上是NumPy的替代，它支持gpu，有着更高级的功能，可以用来构建和训练深度神经网络。
如果你熟悉NumPy、Python和常见的深度学习概念(卷积层、递归层、SGD等)，那么学习Python对你来说会很容易。
而TensorFlow则可以看成是一种嵌入Python的编程语言。当你在编写TensorFlow代码时，它们会通过Python编译成一张图，然后由TensorFlow执行引擎运行。我看到过刚使用TensorFlow的人因为这个额外的间接层而苦思冥想。也因为如此，想用TensorFlow还需要学一些额外的概念，比如会话、图、变量作用域和占位符等。要运行基本模型，还需要更多的样板代码。使用TensorFlow的前期准备时间肯定比PyTorch要长。
图创建和调试
优胜者:PyTorch
创建和运行计算图可能是这两个框架最大的不同。在PyTorch中，图架构是动态的，这意味着图是在运行时创建的。而在TensorFlow中，图架构是静态的，这意味着先编译出图然后再运行。
下面是一个简单的例子，在PyTorch中可以使用标准的Python语言编写for循环结构
for _ in range(T):
h = torch.matmul(W, h) + b
你可以在这段代码的执行过程中改变T的值。而在TensorFlow中，需要使用控制流运算（ control flow operation ）来创建图，例如tf.while_loop。对于更常见的结构，TensorFlow可以执行dynamic_rnn语句，但是创建自定义的动态计算更加困难。
PyTorch中简单的图架构更容易推导，或许更重要的一点是，它更容易调试。调试PyTorch代码如同调试Python代码，可以使用pdb并在任何地方设置断点。而调试TensorFlow代码并不那么容易，你有两个选择，一是请求会话中你想要检查的变量，二是学习和使用TensorFlow调试器(tfdbg)。
优胜者:TensorFlow
因为PyTorch在逐渐发展，我认为两者之间的差距会缩小到零。然而，目前仍有一些TensorFlow支持但PyTorch不支持的功能，
此外，TensorFlow的contrib包中有更多比PyTorch更高级的函数和模型。
序列化
优胜者:TensorFlow
在这两种框架下保存和加载模型都很简单。PyTorch有一个特别简单的API，既可以保存模型的所有权重，也可以pickle全部类。
TensorFlow的Saver对象也很容易使用，并为检查点（check-pointing）提供了更多选择。
在序列化中TensorFlow的主要优点是可以将整个图保存为协议缓冲区。这包括参数和运算。此外，该图可以通过其他支持的语言(C++，Java)加载。这对不支持Python的调度栈来说至关重要。理论上，在改变模型源代码之后，你想要运行旧模型时它也能有所帮助。
部署
优胜者:TensorFlow
对于小规模的服务器端部署，两个框架都很容易封装在诸如Flask web服务器中。
不过，TensorFlow支持移动和嵌入式部署。可以确定的说，这比包括PyTorch在内的大多数深度学习框架支持功能的都要多。将TensorFlow部署到Android或ios上确实需要大量的工作，但至少你不必用Java或C++重写模型的整个推理程序。
此外，TensorFlow Serving支持高性能的服务器端部署。我没有使用过 TensorFlow Serving ，因此不能很确信地写出它的利弊。由于机器学习服务使用的频率很高，我猜想这是人们坚持使用TensorFlow的充分理由。除了性能之外，TensorFlow Serving的一个明显特点是，支持轻松地换用模型而不会降低服务性能。
文档
平手
我在两种框架的文档中都找到了我需要的东西。Python的 API在两个框架中都有良好的文档记录，并且有足够的例子和教程来学习这两种框架。
一个比较边缘的问题是，PyTorch的 C语言库大多是无文档记录的，不过这只影响到编写定制的C语言扩展程序，而且这种操作是否有助于软件还存疑。
数据加载
优胜者: PyTorch
PyTorch中用于数据加载的API设计得很好。接口在数据集、采样器和数据加载器中有明确规定。数据加载器接收数据集和采样器，根据采样器的调度，在数据集上生成迭代器。加载并行数据就像把num_workers语句传递到数据加载器一样简单。
我在TensorFlow还没发现特别有用的加载数据的工具，例如readers, queues, queue runners等，都不够好。部分原因是因为将想要运行的所有预处理代码添加到TensorFlow图中并不总是直接的，例如计算时频谱（spectrogram）。
而且，API本身更繁琐，更难以学习。
设备管理
优胜者:TensorFlow
TensorFlow管理设备时的无缝性非常好。通常不需要规定任何东西，因为默认已经设好了。例如，如果GPU可用，TensorFlow将默认在GPU上运行。在PyTorch中，即使支持CUDA，都必须明确地将所有东西移到设备上。
TensorFlow设备管理的唯一缺点是，即使你只使用一个GPU它也会默认占用所有GPU的显存。简单的解决方法是用CUDA_VISIBLE_DEVICES语句指定显卡。但有时会忘了设置，所以当GPU实际上处于空闲状态时，会显示内存不足。
在PyTorch中，代码需要更频繁地检查CUDA的可用性和更明确的设备管理，当编写能够同时在CPU和GPU上运行的代码时尤甚。另外，将GPU上的PyTorch Variable转换为NumPy数组有点繁琐。
numpy_var = variable.cpu().data.numpy()
自定义扩展
优胜者:PyTorch
在这两种框架中都可以用C语言、C++或CUDA构建或绑定自定义扩展。但TensorFlow需要更多的样板代码，即使它支持多种类型和设备。在PyTorch中，只需为每个CPU和GPU版本编写一个接口和相应的实现。用这两种框架来编译扩展都很直接，并且不需要下载除了pip安装包之外的任何头文件或源代码。
扩展
TensorBoard是用于展示训练机器学习模型过程的可视化工具。它是TensorFlow自带的最有用的功能之一。只需要通过训练脚本中的一些代码片段，就可以查看任何模型的训练曲线和验证结果。TensorBoard作为web服务运行，它可以非常方便地将存储在无头节点（headless node）上的结果可视化。
我在用PyTorch之前一直在用这种功能并尝试找到能替代这种功能的选择。值得庆幸的是，目前至少有两个开源项目支持这种功能。一个是 istensorboard_logger ，另一个是。istensorboard_logger库甚至比TensorFlow中的TensorBoard摘要数据更容易使用，不过需要安装TensorBoard来使用。crayon完全能取代TensorBoard，不过需要更多的设置(支持docker是先决条件)。
是一个更高级的API，可配置后端，支持TensorFlow、Theano和CNTK，也许在不久的将来也会支持PyTorch。Keras就像TensorFlow里的tf.contrib库一样。
我上面没有讨论Keras，不过它使用起来特别容易。它是调试最常用的几种深度神经网络架构最快的方法之一。不过它的灵活性不如PyTorch或core TensorFlow。
谷歌在2017年2月发布了 TensorFlow Fold 。该库构建在TensorFlow之上，支持更多动态图构建，主要优点是动态批处理功能——可以对不同规模的输入数据（如解析树上的递归网络）自动进行批量计算。在可编程性上，它的语法不如PyTorch直接，不过在某些情况下，批量处理带来的性能改进可以让我们忽略语法上的不足。
雷锋网 AI科技评论
原创文章，未经授权禁止转载。详情见 转载须知 。
根据企业单位实时返回查询所有备案信息（与官网一致），适用于对备案信息变化及时性要求高的用户，如备案监控等。
徐州君安交通运输设备有限公司位于驰名中外的帝王之乡,汉刘邦发源地,江苏省沛县,北邻中央国企大屯煤电集团公司,紧靠S69高速路口10公里,交通便利
济南超级计算技术研究院（以下简称“研究院”）是参照科技部《关于促进新型研发机构发展的指导意见》、《山东省新型研发机构管理暂行办法》等文件精神，在济南市人民政府的指导下，由山东省科学院和济南市历城区人民政府共同举办的“四不像”新型研发机构，是一家无主管部门，无行政级别，实行企业化管理、市场化运营的独立法人事业单位。
公司主营：jbl音响，家庭音响，舞台音响，ktv音响等。经营方式上以开架销售为主,商品种类齐全,更有超值组合,成套搭配推荐,选购时极为方便。
中国安全⽣产协会会展安全⼯作委员会（简称：中安协会展委）经中国安全⽣产协会批准，于2023年2⽉21⽇成⽴。中安协会展委致⼒于普及国家安全⽣产相关法律法规，为会展活动⾏业中安全⽣产保障及现场应急管理⼈才，提供专业的知识技能提升服务，以安全⽣产为前提开展⾏业资源整合与服务，助⼒⾏业健康发展。
江苏熙天时环保科技有限责任公司专业从事酸雾净化塔,生物除臭塔,有机废气塔,污水池加盖的生产和销售,欢迎来电咨询:13961291523
网站首页
广东省中山市数狸科技有限公司，是一家集研发、设计、策划、服务于一体的营销技术服务公司，可定制数字营销整体解决方案。热线：13925240114
郑州市高原耐火材料有限公司专业生产冶金、陶瓷、水泥等行业用的耐火材料，生产的粘土砖、高铝砖、磷酸盐砖、轻质保温砖、耐火球、各种浇注料、捣打料、喷涂料等畅销全国25个省市自治区，并远销日本、俄罗斯、越南等地区，深受广大用户的好评。
张家港源泉塑料制品有限公司主要从事塑料包装，包括各类规格塑料包装袋，方底袋、高低压包装袋、PE袋，折边袋，印刷袋，彩色袋，缠绕膜，胶带等。
舟大师-第四代产品优势：人工智能AI高效精准询盘转化,询盘主动推送到客户手机;流量随心可控，支持多落地页;透明数据，提升改进推广效果;推广排名报表，流量报表，询盘报表。
米饭是现在人们的主食之一，米饭存在的形式也比较多，可以用来做炒饭，也可以用来做饭团，还可以用来做锅巴，饭团是小吃市场常见的一种实惠小吃，价格便宜，口感丰富，分量充足，是人们都可以吃得起的特色美食，饭团可以添加多种不同的食材，制作出不同的口味，因此在市面上的销量很高，现在的饭团都是在门店中规范化的经营，健康、营养、可口，眷村粢饭团是来自...。
一日三餐都离不开厨房，那么，在制作饭菜的过程中，厨房中的废品一定不会少，那么青菜叶、鱼骨头、土豆皮、鸡蛋壳等各类废品所滋生除来的细菌和有害物质是多么的可怕，厨房废品处理器的出现，帮助很多家庭解决了废品如何处理的问题，格莱佳在这一行业中口碑还不错，那很多创业的小伙伴想了解，格莱佳厨房废品处理加盟条件是什么，格莱佳厨房废品器，它采用的是傻...。
印媒，印度宣布禁用百度和微博据，印度时报，4日报道，印度政府已要求该地区的谷歌和苹果应用商店下架百度搜索和新浪微博，知情人士称，印度互联网服务提供商也已被要求禁用这两款应用，这两款应用属于7月27日政府禁用的47款新应用程序，，一名知情官员称，并补充说政府还在考虑屏蔽更多应用，印度政府于6月底禁用了59款来自中国的应用程序，包括字节...。
10月28日，英特尔在深圳举办了一场创意原型拍卖会，这家芯片巨头来到中国硅谷，主要是帮全国各地的创客，卖创意，创意原型拍卖会是英特尔今年7月正式启动的一项活动，简单来说，在这个项目里，英特尔只是提供的是创客与制造商对接的平台，创客团队可以带着各自的原型产品作为卖家，而深圳本地的制造商以及渠道商是买家，它可以帮助这些创客把原型打造成产...。
语音播放文章内容由深声科技提供技术支持您的浏览器不支持audio元素，雷锋网消息，近日，据国外媒体报道，苹果正在开发一种全新方法，将在未来版本的Siri中添加面部分析功能，以此帮助Siri理解用户的需求，减少语音请求被误解的次数，图片来源，appleinsider所有者，appleinsider，除了面部识别，还能解读情绪相关报道显...。
按，2021年12月9日，2021年12月11日，2021第六届全球人工智能大会，GAIR2021，于深圳正式召开，历经五年，见证数次潮水的转向，成为目前为止粤港澳大湾区人工智能领域规模最大、规格最高的学术、工业和投资领域跨界盛会，GAIR2021，集成电路高峰论坛，国产高端芯片之路，，集聚来自学术界、产业界和投资界的15位大咖...。
发表在专业问答2024，11，2510，27展示机型信息，品牌型号，爱普生EF15系统版本，腾讯极光TVOS爱普生投影仪连接音响可以通过音频线连接爱普生投影仪和音响的音频接口，总共可以分为三步，下面为爱普生投影仪怎么样连接音响的详细步骤做具体说明，爱普生投影仪怎么样连接音响1.连接音频线使用音频线连接爱普生投影仪和音响的音频接口；2....。
取消农业和非农业户口划分，统一登记为居民户口，从2014年11月1日起，黑龙江取消农业户口和非农业户口性质划分，统一登记为居民户口，群众可自愿到公安派出所更换居民户口簿，同时，对教育、卫生计生、养老、住房等领域现有各种与户口性质挂钩的政策进行一次全面清理，除国家明确规定的标准外，取消按户口性质设置的差别化标准，研究制定城乡统一的新标准...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
咱们一辈子都奋力跋涉在求财的路线上；财神方位是指财气最集中的中央，那么大家知道2020年的财神方位如何查问吗，接上去就由老黄历为大家带来2020年每日财神方位查问表，求财必备，一同来看看吧！2020年每日财神方位查问表，以公历期间为准，1、2020年1月每日财神方位查问2020年1月1日癸卯日——财位，正南边2020年1月2日甲辰日—...。
特斯拉是如今很盛行的电动汽车，在国际还是很有市场的，目前特斯拉主打三款车型，多少钱也都不同，假设你对特斯拉比拟感兴味，却又不知道多少钱能否在自己接受范畴内的话，可以看看趣丁网带来的特斯拉有几款车型价位各多少哦！特斯拉有几款车型价位各多少1、Model3官方指点价，25.17，41.98万级别，中型轿车特斯拉Model3成为了公认的奢侈...。
点击赞美图片，选用自己须要的图片，选用马赛克，点击，包全封锁，选用，人像包全，，选用要改成的背景样式1首先关上手机上的APP2接着点击，赞美图片，，选用自己须要更改背景的照片3选中后点击进入赞美图片，接着，1关上美图秀秀，点击一张须要修正背景的图片，间接将图片关上就可以了2而后点击左下角的抠图，而后选用智能抠图，这样就能将图片中的关键...。
说到现在的教育行业中，当数机器人教育更加的受欢迎，主要是因为机器人教育可以更好培养孩子的科学知识，普及科技知识，对孩子后续踏入社会有很大的帮助，所以说家长也意识到孩子的科学知识的重要性，所以给孩子报名机器人培训机构，就是非常不错的选择，不仅教学质量非常的好，而且价格也非常的合理，所以也获得广大创业者的关注，加盟，贝思哲开启学生的创想力...。
选择教育行业进行加盟经营发展是不错的想法，国内的教育市场发展资源丰富，其中英语作为当下热门的教育项目类型，很多的教育品牌在该方面的教育发展输出取得了出色的成绩，速学慧就是业内发展出色的品牌之一，速学慧专注英语伴学教育服务输出，给诸多的幼儿和少年带来了专业的英语语言教育输出，在教育实力上雄厚而且有着完善的教育体系加持，那么，速学慧的教学...。
香港作为一个时尚之都，同时也有着美食之地的称号，特别是在香港的街头，一些特色的美味小吃，琳琅满目，不由的就让人们口水直流，港式牛杂更是其中较为受欢迎的美食之一，一经在市场上出现以来，便迅速的风靡全国，甚至还远销海外，同时也吸引了广大创业者们的木管，那么，千座港式牛杂加盟必备的条件有哪些呢，关于这个问题，下面大家就随着小编一起来了解一下...。
不去报到并直接复读是可行的选择，不过，如果已经注册报道了，那么就需要办理退学手续，注销学籍，同时退还档案，实际上，每一位学生从填报志愿到录取之间，都拥有充分的时间来考虑自己的决定，因此，如果录取了，最好还是去就读，因为录取了不去读不仅会浪费一个宝贵的录取名额，让有需要的人无法获得机会，这样做是不合理的，比如，有这样一位典型人物——高考...。
发表在专业问答2021，9，1915，18展示机型信息，品牌型号，当贝X3系统版本，当贝OS2.0首先使用电源线连接家用投影仪和插座进行通电，然后使用遥控器打开投影仪，最后使用遥控器连接网络后，选择视频观看即可，家用投影仪怎么用1.连接电源使用电源线连接家用投影仪和插座为投影设备通电；2.打开投影仪使用遥控器的电源键打开投影仪，进入主...。
