API入门教程 Dataset TensorFlow全新的数据读取方式 (api 教程)
雷锋网 AI科技评论按：本文作者 何之源 ，该文首发于知乎专栏，雷锋网 AI科技评论获其授权转载。
Dataset API是TensorFlow 1.3版本中引入的一个新的模块，主要服务于数据读取，构建输入数据的pipeline。
此前，在tensorflow中读取数据一般有两种方法：
Dataset API同时支持从内存和硬盘的读取，相比之前的两种方法在语法上更加简洁易懂。此外，如果想要用到TensorFlow新出的Eager模式，就必须要使用Dataset API来读取数据。
本文就来为大家详细地介绍一下Dataset API的使用方法（包括在非Eager模式和Eager模式下两种情况）。
在TensorFlow 1.3中，Dataset API是放在contrib包中的：
而在TensorFlow 1.4中，Dataset API已经从contrib包中移除，变成了核心API的一员：
下面的示例代码将以TensorFlow 1.4版本为例，如果使用TensorFlow 1.3的话，需要进行简单的修改（即加上contrib）。
让我们从基础的类来了解Dataset API。参考Google官方给出的Dataset API中的类图：
在初学时，我们只需要关注两个最重要的基础类：Dataset和Iterator。
Dataset可以看作是相同类型“元素”的有序列表。在实际使用时，单个“元素”可以是向量，也可以是字符串、图片，甚至是tuple或者dict。
先以最简单的，Dataset的每一个元素是一个数字为例：
这样，我们就创建了一个dataset，这个dataset中含有5个元素，分别是1.0, 2.0, 3.0, 4.0, 5.0。
如何将这个dataset中的元素取出呢？方法是从Dataset中示例化一个Iterator，然后对Iterator进行迭代。
在非Eager模式下，读取上述dataset中元素的方法为：
对应的输出结果应该就是从1.0到5.0。语句iterator => 从内存中创建更复杂的Dataset
之前我们用tf.data.Dataset.from_tensor_slices创建了一个最简单的Dataset：
其实，tf.data.Dataset.from_tensor_slices的功能不止如此，它的真正作用是切分传入Tensor的第一个维度，生成相应的dataset。
例如：
传入的数值是一个矩阵，它的形状为(5, 2)，tf.data.Dataset.from_tensor_slices就会切分它形状上的第一个维度，最后生成的dataset中一个含有5个元素，每个元素的形状是(2, )，即每个元素是矩阵的一行。
在实际使用中，我们可能还希望Dataset中的每个元素具有更复杂的形式，如每个元素是一个python中的元组，或是Python中的词典。例如，在图像识别问题中，一个元素可以是{"image": image_tensor, "label": label_tensor}的形式，这样处理起来更方便。
tf.data.Dataset.from_tensor_slices同样支持创建这种dataset，例如我们可以让每一个元素是一个词典：
这时函数会分别切分"a"中的数值以及"b"中的数值，最终dataset中的一个元素就是类似于{"a": 1.0, "b": [0.9, 0.1]}的形式。
利用tf.data.Dataset.from_tensor_slices创建每个元素是一个tuple的dataset也是可以的：
Dataset支持一类特殊的操作：Transformation。一个Dataset通过Transformation变成一个新的Dataset。通常我们可以通过Transformation完成数据变换，打乱，组成batch，生成epoch等一系列操作。
常用的Transformation有：
下面就分别进行介绍。
map接收一个函数，Dataset中的每个元素都会被当作这个函数的输入，并将函数返回值作为新的Dataset，如我们可以对dataset中每个元素的值加1：
batch就是将多个元素组合成batch，如下面的程序将dataset中的每个元素组成了大小为32的batch：
（3）shuffle
shuffle的功能为打乱dataset中的元素，它有一个参数buffersize，表示打乱时使用的buffer的大小：
repeat的功能就是将整个序列重复多次，主要用来处理机器学习中的epoch，假设原先的数据是一个epoch，使用repeat(5)就可以将之变成5个epoch：
如果直接调用repeat()的话，生成的序列就会无限重复下去，没有结束，因此也不会抛出tf.errors.OutOfRangeError异常：
例子：读入磁盘图片与对应label
讲到这里，我们可以来考虑一个简单，但同时也非常常用的例子：读入磁盘中的图片和图片相应的label，并将其打乱，组成batch_size=32的训练样本。在训练时重复10个epoch。
对应的程序为（从官方示例程序修改而来）：
在这个过程中，dataset经历三次转变：
除了tf.data.Dataset.from_tensor_slices外，目前Dataset API还提供了另外三种创建Dataset的方式：
它们的详细使用方法可以参阅文档： Module: tf.data
在非Eager模式下，最简单的创建Iterator的方法就是通过dataset.make_ONE_shot_iterator()来创建一个one shot iterator。除了这种one shot iterator外，还有三个更复杂的Iterator，即：
initializable iterator必须要在使用前通过sess.run()来初始化。 使用initializable iterator，可以将placeholder代入Iterator中，这可以方便我们通过参数快速定义新的Iterator 。一个简单的initializable iterator使用示例：
此时的limit相当于一个“参数”，它规定了Dataset中数的“上限”。
initializable iterator还有一个功能：读入较大的数组。
在使用tf.data.Dataset.from_tensor_slices(array)时，实际上发生的事情是将array作为一个tf.constants保存到了计算图中。 当array很大时，会导致计算图变得很大，给传输、保存带来不便。这时，我们可以用一个placeholder取代这里的array，并使用initializable iterator，只在需要时将array传进去，这样就可以避免把大数组保存在图里，示例代码为（来自官方例程）：
reinitializable iterator和feedable iterator相比initializable iterator更复杂，也更加少用，如果想要了解它们的功能，可以参阅 官方介绍 ，这里就不再赘述了。
本文主要介绍了Dataset API的基本架构：Dataset类和Iterator类，以及它们的基础使用方法。
在非Eager模式下，Dataset中读出的一个元素一般对应一个batch的Tensor，我们可以使用这个Tensor在计算图中构建模型。
在Eager模式下，Dataset建立Iterator的方式有所不同，此时通过读出的数据就是含有值的Tensor，方便调试。
作为兼容两种模式的Dataset API，在今后应该会成为TensorFlow读取数据的主流方式。关于Dataset API的进一步介绍，可以参阅下面的资料：
雷锋网 AI科技评论
版权文章，未经授权禁止转载。详情见 转载须知 。
《新天龙八部》端游十七周年庆典全面开启！破晓2024全面开启，与你一起共赴更精彩的天龙江湖！
视频服务平台,提供视频播放,视频发布,视频搜索,视频分享
浙江托普云农科技股份有限公司是专业的高标准农田建设规划公司，承接高标准农田建设项目，可提供全套高标准农田建设项目实施方案，包仪器设备，包施工，售后，助力高标准农田建设发展。
★江西中科健康体检有限公司位于南昌市英雄桥畔洪都北大道1288号，是一家投资运营第三方体检中心、影像中心、检验中心、中西医结合门诊部、口腔医疗、消化道医疗、心理咨询、医疗美容、健康宣传教育和医生集团等的综合健康投资及管理连锁机构。目前已经开设16家医疗、医药及配套机构，就业人数超过1600人，营业面积超过6万平方米，营业收入超过2亿元。
郑州博特硬质材料有限公司，成立20载，致力于CBN刀具、PCBN刀片及超硬磨料的研发与制造，主要产品有复合CBN刀具、焊接PCBN刀具、立方氮化硼刀片、CBN超硬磨料、PCD复合刀片等，为您提供高端超硬刀具及磨削、切削加工解决方案。
黑龙江省科学院智能制造研究所
乐通电子是集生产、经营、科研、技术开发及信息服务为一体的科技先导型企业，为高新技术企业，具有近二十余年行业经验。下属有3家企业：湖州乐通电子科技有限公司，湖州乐通电子厂，湖州宇通电子厂。主要生产抗干扰磁芯(滤波磁芯、铁粉芯)系列和电感系列，非晶磁环系列，滤波磁珠系列四大类500余种规格的产品。
我公司专业生产销售侧转式电动卷帘机，大棚卷帘机，电动卷帘机，自动卷帘机，温室卷帘机，卷帘机，拥有强大的技术力量，在大型农业示范园区规划、建设、管理方面具有丰富的经验，咨询热线：13706356092。
深圳市康乐德实业有限公司
三祐环保
省钱屋十块吧-优惠券折扣直播第一站！每天更新千款，纯人工筛选验货，限时限量特卖，全场1折包邮！
现在随着交通的便利，大江南北的特色美食都可以出现在人们的日常生活中，当然也为很多想要加入餐饮行业的商家们提供了美好的市场机遇，魔锅坊麻辣香锅是一家相当不错的加盟选择，不仅产品的风味独特而且还有着完善的经营制度，那么，加盟魔锅坊麻辣香锅怎么样，市场口碑好不好，加盟魔锅坊麻辣香锅怎么样，自从火锅成为餐饮行业的热销领域之后，麻辣鲜香已经成为...。
在小米10发布会的总结环节，雷军激动地喊出上面这句话，实际上，为了这款，为了梦想打造的高端旗舰手机，和期待了十年的，梦幻之作，，小米上下轮番上阵，在微博上已经将这款产品的具体信息进行了全方位、无死角的剧透——除了价格，不仅如此，在不得不举办线上发布会的情况下，小米还为这场发布会安排了深圳卫视的直播，雷军说，小米10要摆脱价格的束缚，小...。
生成式AI的火爆，吸引了大量人开始挖掘AI的金矿，生成式AI模型所需的算力，每100天就要翻一倍，AI对，芯经济，的推动作用非常显著，芯经济，TechEconomy，是英特尔公司首席执行官帕特·基辛格，PatGelsinger，近日在2023英特尔on技术创新大会上提出的概念，指的是芯片和软件的推动下，正在不断增长的经济形态，AI...。
发表在当贝投影仪2024，6，516，55当贝F6和极米RS10是价格接近的产品，那么两款投影仪在性能配置方面有什么区别呢，下面就通过详细的参数配置进行对比分析，看看当贝F6和极米RS10区别有哪些，全方面对比下来，哪款投影仪更值得用户入手，一、当贝F6和极米RS10区别有哪些，1.光学参数对比对于投影仪来说，亮度比其他一切参数都对画...。
一、百度搜索，当贝市场，，进入官网下载最新版本apk文件，或点击直接下载，http，dlap1.dbkan.com，update，dangbeimarket.apk，，并拷贝进u盘，附，当贝市场官网，http，www.dangbei.com，，如果官网当贝市场被系统自动删除，请安装该版本，http，ali.znds.com...。
品牌名称山城防空洞火锅投资金额万2014，12，26门店总数经营范围火锅适合人群自由创业加盟区域全国是否有区域授权是品牌发源地重庆合同期限5年培训期限15天以上特许使用费4000元营业条件要求保证金3.1万元人民币加盟费5万元人民币山城防空洞火锅加盟详情三代传承匠心铸就品牌背靠专业公司创建专业团队立足市场重庆邦辉餐饮管理有限公司，简称...。
对于360软件管家下载的软件在哪，360软件管家下载的装置程序在哪个文件夹这个很多人还不知道，当天来为大家解答以上的疑问，如今让咱们一同来看看吧！1、360软件管家下载的装置程序普通在360dowloads，softwares文件夹中，找到360软件管家下载的装置程序在哪个文件夹的详细步骤如下，首先，咱们须要关上360软件管家，间接在...。
每年的4月8日是，国内珍稀生物包全日，家养生物是人类的好友，是大人造生态圈的关键组成局部，珍稀生物是在人造界较为罕见和宝贵的包全生物，但由于人类不加节制的开发应用，造成了少量物种灭绝、资源种类缩小、生态环境退步，人类生活环境日趋顽劣，为此，国内上将每年的4月8日定为国内珍稀生物包全日，想要包全好珍稀生物，最先要做到的就是包全人造环境...。
领界是福特旗下的一款紧凑型suv，这款车的百公里油耗为9.2升，领界的长宽高区分是4580毫米，1936毫米，1674毫米，轴距为2716毫米，领界全系都经常使用了一款1.5升涡轮增压发起机，这是一款五门五座suv，领界的1.5升涡轮增压发起机领有140马力和225牛米的最大扭矩，这款发起机的最大功率转速为4500到5200转每分钟，...。
beyondcompare4是一个功能很全面的文件对比软件，可以很方便的对比两个文件或者文件夹的不同之处，可以对比到具体的内容，轻松查看比对结果，一目了然；软件还内置了文件浏览功能，方便查看每个文件。官方介绍beyondcompare可以轻松地将文件从一个文件夹中同
E4A混淆助手是E4A专用的代码混淆工具，支持变量混淆、函数混淆、类名混淆，自动清理无用类因为水平一般，代码混乱，效率一般
AdvancedETLProcessorProfessional(数据库管理工具)是一款简易实用，功能全面的数据库管理软件，这款软件可以执行复杂的数据验证和转换操作，从任何数据源创建Inse
这个时代的人，不怕变老，不怕头秃，就害怕跟不上吃瓜的速度，被时代抛弃，2019年，科技圈哪些事让你操碎了心，是老罗撕掉理想主义者标签，还是网易裁员背后的人性考验，有没有你没吃到的瓜，懵逼的雷锋网查询了下自家后台，总结了一份吃瓜指南奉上，2019年的最后几天，这些科技大事件的结局你千万不能再错过了，终于不是程序员，背锅，——AI开年翻车...。
近日，国际电气和电子工程师协会，InstituteofElectricalandElectronicEngineers，以下简称IEEE，公布了2025年度Fellow名单，阶跃星辰创始人、CEO姜大昕博士入选，是唯一来自中国大模型创业公司的入选者，IEEE给姜大昕博士的入选理由是，对上下文感知搜索和语言Scaling方法做出的贡献，...。
发表在当贝投影仪2023，10，918，07当贝X5Pro作为当贝X5的升级版本，拥有更为出色的表现，那么和同为4K激光投影仪的峰米X5有什么区别呢，下面就通过详细的参数配置进行对比分析，当贝X5Pro和峰米X5有什么区别，哪款投影仪的效果更好，是否值得用户入手，一、当贝X5Pro和峰米X5区别1.光学参数对比当贝X5Pro和峰米X5...。
发表在专业问答2022，6，1315，34展示机型信息，品牌型号，索尼电视X80J系统版本，当贝OS定制版智能电视不能装浏览器主要原因是官方禁令，该禁令的内容就是禁止电视厂商在电视系统内为用户提供的电视直播服务和网页浏览服务，因此智能电视无法安装浏览器了，智能电视为什么不能装浏览器智能电视不能装浏览器主要原因是广电总局的官方禁令，该禁...。
发表在投影仪维修2019，1，220，26一台EPSONEMP，820投影机，RGB口连接计算机，视频输入口连接着VCD机，开机后发现颜色严重偏冷，于是调整色温，但即使调到最大也不见颜色变暖，再分别调节R，红色，、G，绿色，、B，蓝色，各色强度，发现在调节G和B时，屏幕颜色都有变化，而调节R时没有变化，怀疑是投影机调节控制电路或解码电...。
