API入门教程 Dataset TensorFlow全新的数据读取方式 (api 教程)
雷锋网 AI科技评论按：本文作者 何之源 ，该文首发于知乎专栏，雷锋网 AI科技评论获其授权转载。
Dataset API是TensorFlow 1.3版本中引入的一个新的模块，主要服务于数据读取，构建输入数据的pipeline。
此前，在TensorFlow中读取数据一般有两种方法：
Dataset API同时支持从内存和硬盘的读取，相比之前的两种方法在语法上更加简洁易懂。此外，如果想要用到TensorFlow新出的Eager模式，就必须要使用Dataset API来读取数据。
本文就来为大家详细地介绍一下Dataset API的使用方法（包括在非Eager模式和Eager模式下两种情况）。
在TensorFlow 1.3中，Dataset API是放在contrib包中的：
而在TensorFlow 1.4中，Dataset API已经从contrib包中移除，变成了核心API的一员：
下面的示例代码将以TensorFlow 1.4版本为例，如果使用TensorFlow 1.3的话，需要进行简单的修改（即加上contrib）。
让我们从基础的类来了解Dataset API。参考Google官方给出的Dataset API中的类图：
在初学时，我们只需要关注两个最重要的基础类：Dataset和Iterator。
Dataset可以看作是相同类型“元素”的有序列表。在实际使用时，单个“元素”可以是向量，也可以是字符串、图片，甚至是tuple或者dict。
先以最简单的，Dataset的每一个元素是一个数字为例：
这样，我们就创建了一个dataset，这个dataset中含有5个元素，分别是1.0, 2.0, 3.0, 4.0, 5.0。
如何将这个dataset中的元素取出呢？方法是从Dataset中示例化一个Iterator，然后对Iterator进行迭代。
在非Eager模式下，读取上述dataset中元素的方法为：
对应的输出结果应该就是从1.0到5.0。语句iterator => 从内存中创建更复杂的Dataset
之前我们用tf.data.Dataset.from_tensor_slices创建了一个最简单的Dataset：
其实，tf.data.Dataset.from_tensor_slices的功能不止如此，它的真正作用是切分传入Tensor的第一个维度，生成相应的dataset。
例如：
传入的数值是一个矩阵，它的形状为(5, 2)，tf.data.Dataset.from_tensor_slices就会切分它形状上的第一个维度，最后生成的dataset中一个含有5个元素，每个元素的形状是(2, )，即每个元素是矩阵的一行。
在实际使用中，我们可能还希望Dataset中的每个元素具有更复杂的形式，如每个元素是一个Python中的元组，或是Python中的词典。例如，在图像识别问题中，一个元素可以是{"image": image_tensor, "label": label_tensor}的形式，这样处理起来更方便。
tf.data.Dataset.from_tensor_slices同样支持创建这种dataset，例如我们可以让每一个元素是一个词典：
这时函数会分别切分"a"中的数值以及"b"中的数值，最终dataset中的一个元素就是类似于{"a": 1.0, "b": [0.9, 0.1]}的形式。
利用tf.data.Dataset.from_tensor_slices创建每个元素是一个tuple的dataset也是可以的：
Dataset支持一类特殊的操作：Transformation。一个Dataset通过Transformation变成一个新的Dataset。通常我们可以通过Transformation完成数据变换，打乱，组成batch，生成epoch等一系列操作。
常用的Transformation有：
下面就分别进行介绍。
map接收一个函数，Dataset中的每个元素都会被当作这个函数的输入，并将函数返回值作为新的Dataset，如我们可以对dataset中每个元素的值加1：
batch就是将多个元素组合成batch，如下面的程序将dataset中的每个元素组成了大小为32的batch：
（3）shuffle
shuffle的功能为打乱dataset中的元素，它有一个参数buffersize，表示打乱时使用的buffer的大小：
repeat的功能就是将整个序列重复多次，主要用来处理机器学习中的epoch，假设原先的数据是一个epoch，使用repeat(5)就可以将之变成5个epoch：
如果直接调用repeat()的话，生成的序列就会无限重复下去，没有结束，因此也不会抛出tf.errors.OutOfRangeError异常：
例子：读入磁盘图片与对应label
讲到这里，我们可以来考虑一个简单，但同时也非常常用的例子：读入磁盘中的图片和图片相应的label，并将其打乱，组成batch_size=32的训练样本。在训练时重复10个epoch。
对应的程序为（从官方示例程序修改而来）：
在这个过程中，dataset经历三次转变：
除了tf.data.Dataset.from_tensor_slices外，目前Dataset API还提供了另外三种创建Dataset的方式：
它们的详细使用方法可以参阅文档： Module: tf.data
在非Eager模式下，最简单的创建Iterator的方法就是通过dataset.make_one_shot_iterator()来创建一个one shot iterator。除了这种one shot iterator外，还有三个更复杂的Iterator，即：
initializable iterator必须要在使用前通过sess.run()来初始化。 使用initializable iterator，可以将placeholder代入Iterator中，这可以方便我们通过参数快速定义新的Iterator 。一个简单的initializable iterator使用示例：
此时的limit相当于一个“参数”，它规定了Dataset中数的“上限”。
initializable iterator还有一个功能：读入较大的数组。
在使用tf.data.Dataset.from_tensor_slices(array)时，实际上发生的事情是将array作为一个tf.constants保存到了计算图中。 当array很大时，会导致计算图变得很大，给传输、保存带来不便。这时，我们可以用一个placeholder取代这里的array，并使用initializable iterator，只在需要时将array传进去，这样就可以避免把大数组保存在图里，示例代码为（来自官方例程）：
reinitializable iterator和feedable iterator相比initializable iterator更复杂，也更加少用，如果想要了解它们的功能，可以参阅 官方介绍 ，这里就不再赘述了。
本文主要介绍了Dataset API的基本架构：Dataset类和Iterator类，以及它们的基础使用方法。
在非Eager模式下，Dataset中读出的一个元素一般对应一个batch的Tensor，我们可以使用这个Tensor在计算图中构建模型。
在Eager模式下，Dataset建立Iterator的方式有所不同，此时通过读出的数据就是含有值的Tensor，方便调试。
作为兼容两种模式的Dataset API，在今后应该会成为TensorFlow读取数据的主流方式。关于Dataset API的进一步介绍，可以参阅下面的资料：
雷锋网 AI科技评论
版权文章，未经授权禁止转载。详情见 转载须知 。
全自动洗脱机，全自动工业洗衣机，工业脱水机，工业烘干机，工业烫平机，洗脱烘一体机,泰州市海鑫机电制造有限公司，以诚为本，服务到位，质量保证！厂家直销价格合理。销售热线18705266985
上海荣辉环保科技有限公司
宁夏广林子食用油有限公司(原银川原源食用油有限公司)于1998年9月21日组建并注册成立,位于银川经济技术开发区经天东路6号，占地面积55亩，注册资金1170万元，现拥有职工人数130余人、年销售额1.5亿。旗下主打产品“广林子”系列，产品深受广大消费者的信赖，并且已发展成为农业产业化自治区重点龙头企业。
中企动力专注中小企业网站建设、高端网站建设、网站制作、网站建设推广、公司网站建设、网页设计、网站建设公司哪家好等服务;已为上千家服务,为深圳、广州、北京、上海和全国各地企业和个人服务,联系电话：400-660-8066。
加粮站平台提供全国上百种猫粮代理，致力于狗粮微商代理加盟，工厂一手货源直供一件代发，欢迎免费宠物粮代理咨询。
安泰路斯轮胎官方网站
短信群发平台-正规靠谱的短信群发平台，专注提供106短信群发服务18年，短信群发成功计费，覆盖三网，为企业提供短信群发推广、短信群发软件、会员短信通知等服务，欢迎免费测试！
石家庄奋进科技有限公司石家庄奋进科技有限公司主要经营工业炉窑技术开发、工程设计、工程总包、炉窑配件销售、技术服务等。公司拥有梁式石灰窑专利、梁式石灰窑核心部件专利等多项专利，具有梁式窑完整的知识产权。
宁波圣龙王同步带有限公司宁波圣龙王同步带有限公司专业生产
星宏（长兴）包装科技有限公司座落于浙江省湖州市，位于太湖南岸，工厂占地面积58000㎡，拥有员工超过100人。主要产品是新型、环保塑料中空板系列产品。主要设备是吹瓶机、中空机、吹塑机系列设备，集生产、研发、加工、销售型企业。
长沙喜都汇家具有限公司创建于2008年，是一家集展柜设计、加工制造、安装、服务于一体，专业从事木质、塑质、金属等各类货架、五金、各类展柜、店面装饰设计以及博物馆藏布展的商务型家具制造公司。
平和临分信息技术工作室,Yytyt
雷锋网AI科技评论按，在旧金山参加AAAI期间，经余凯老师的引荐，AI君来到了位于PaloAlto的亚马逊AWS办公室与李沐见了一面，从百度少帅到CMU博士再到MXNet，李沐的履历俨然自带距离感，但当穿着耐克灰色套头衫和牛仔裤的李沐坐在我们面前侃侃而谈时，AI君在会面前的担心一扫而光，严格来说这并不是一次采访，更像是朋友间的闲聊，经...。
以下为RiseML对谷歌TPUv2和英伟达TeslaV100的对比评测，雷锋网AI科技评论将其内容编译如下，谷歌在2017年为加速深度学习开发了一款的定制芯片，张量处理单元v2，TPUv2，TPUv2是谷歌在2016年首次公开的深度学习加速云端芯片TPUv1的二代产品，被认为有着替代英伟达GPU的潜在实力，RiseML此前撰写过一篇...。
雷锋网AI科技评论按，本文作者何之源，该文首发于知乎专栏，雷锋网AI科技评论获其授权转载，DatasetAPI是TensorFlow1.3版本中引入的一个新的模块，主要服务于数据读取，构建输入数据的pipeline，此前，在TensorFlow中读取数据一般有两种方法，DatasetAPI同时支持从内存和硬盘的读取，相比之前的两种方法...。
雷锋网AI科技评论消息，日前，GoogleDevelopersblog正式撰文发布TensorFlow1.4版本，此次的更新迎来三个重大变化，Keras位于TensorFlowcore中，DatasetAPI支持更多功能，引入效用函数tf.estimator.train，and，evaluate等等，雷锋网AI科技评论编辑整理如下，T...。
雷锋网按，Google的TensorFlow是AI学习者中使用率最高、名气也最大的深度学习框架，但由于TensorFlow最早是基于Google的需求开发的，在实际使用上也会存在如文档乱、调试难等诸多缺点，而且开发时间比较早未能及时对一些新的需求进行反应，据雷锋网了解，由于缺乏类似PyTroch、DyNet的动态图功能，Lecun就不...。
雷锋网AI科技评论消息，日前，谷歌正式发布TensorFlowLite开发者预览版，这是针对移动和嵌入式设备的轻量级解决方案，TensorFlowLite是一种全新的设计，具有三个重要功能——轻量级，Lightweight，、跨平台，Cross，platform，、快速，Fast，下面是来自GoogleDevelopersBlog的...。
雷锋网AI科技评论按，为了顺应，在本地设备上运行机器学习模型，的潮流，以及具体点来说，给自家Pixel2以及未来的手机上的AI加速芯片，thePixelVisualCore，提供运行库，谷歌正式发布了TensorFlowLite，作为TensorFlowMobileAPI的升级版进入公众视野，同时开源，长期更新，TensorFlow桌...。
AI科技评论消息，昨日，据知乎网友爆料，亚马逊AI李沐团队今年初至今已经离开6人了，考虑到李沐团队一共20名正式员工，以及一个研究团队招新的严格要求和团队培养成本，6人离去对于一个团队来说确实是一种重大的人员流失，在知乎上，有两种回应，一种倾向于自然选择，即类似于末尾淘汰制，对于达不到培养要求的研究人员给予，劝退，，另一种倾向于，精英...。
雷锋网消息，，安卓之父，安迪·鲁宾，AndyRubin，旗下智能手机初创公司EssentialProductsInc宣布，已获得亚马逊AlexaFund基金和腾讯等公司3亿美元的投资，除了亚马逊和腾讯，其他投资者还包括红点投资公司，Redpoint，、Playground、AccessTechnologyVentures、VYVapi...。
雷锋网按，各位小伙伴们周末好，本周照例与大家分享7篇深度好文，如果你对专栏的内容或形式有任何建议，请在下方评论区留言，专栏君将一一回复，无论你是乐于分享的极客，或是对科技圈的新闻事件有独到的见解的评论人，均可向我们投稿，专栏君的邮箱，gulei@leiphone.com，1、听说现在有个ARAPP很火，所以我也做了一个昨天在图书馆刷R...。
雷锋网消息，9月17日，世界人工智能大会，WAIC2018，在上海正式开幕，除了一系列政要和专家学者，也有来自BAT、亚马逊、微软、小米等人工智能领军企业的大佬在大会主论坛的舞台上演讲，而作为全球人工智能领域的领军企业，Google也没有缺席世界人工智能大会，9月18日，世界人工智能大会召开的第二天，Google也举办了一场主题为，A...。
自从OpenAI开放GPT，3的API以来，不少人争相申请试用后获得了，门票，，并相继在社交网络上推送自己的试用成果，引发了人们对GPT，3的热烈讨论，AI科技评论发现了一个GitHub项目，上面展示了GPT，3的多种玩法，整整50种，包括用GPT，3生成网页、图表、代码、文本以及推理，其中令人吃惊的是，GPT，3能生成Keras编写...。
据独家获悉，蚂蚁集团副总裁、原智能科技事业群总裁蒋国飞已于5月31日离职，结束了他在蚂蚁集团长达七年的任职生涯，截至目前，其后续职业动向暂未确定，据公开资料显示，蒋国飞毕业于北京理工大学，先后获得本科和博士学位，博士毕业后，他出国深造，在美国达特茅斯学院完成博士后研究，2004年6月，蒋国飞加入NEC美国研究院，历任高级研究员、...。
共享异域文化，品味法国巧克力沙龙带给我们的视觉盛宴！巧克力，时尚和浪漫的代表，甜美，纯粹，浓郁，深沉，难以言喻的愉悦，她以其独特的魅力，风靡全世界，1994年，优先届巧克力沙龙在法国巴黎诞生，历经了15年的洗礼和演变，法国巧克力沙龙已经成为全球很大型的巧克力活动，巧克力制作大师们的各种奇思妙想总能震撼观众的眼球，而来自全球的精美巧克力...。
下载地址，类型，安卓游戏，破解游戏版本，oppo游戏核心官方最新版本v12.5.1大小，57.16M言语，中文平台，安卓APK介绍星级，评分，★★★★★游戏标签，oppo游戏核心游戏核心app2023oppo手机游戏核心运行商店大厅是一款由oppo官方打造的手机游戏平台，相当于手游盒子软件，外面领有海量精品游戏，详尽的分类找游戏更轻...。
阳历为准，十二星座，白羊座，3月21日，4月19日；金牛座，4月20日，5月20日；双子座，5月21日，6月21日；巨蟹座，6月22日，7月22日；狮子座，7月23日，8月22日；处女座，8月23日，9月22日；天秤座，9月23日，10月23日；天蝎座，10月24日，11月22日；射手座，11月23日，12月21日；摩羯座，12月22...。
孕妇梦见和他人打架了优惠触及到协定、契约方面的内容，你要看轻细节再做出承诺或选择了！家事让你头疼，和父母、家族的相关不太好呢！移情上班或许学业都是一个发泄精神的渠道！吉凶，得部下拥载，及前辈引进，而得完成开展，五行顺相生，从上生下，性能良好，，易得财利、声誉、事业隆昌，短命少病之兆，大吉昌，孕妇梦见和他人打架打赢了1.梦见跟他人打架...。
