大数据 吴恩达 告别 (大数据nb)
吴恩达是人工智能（AI）和机器学习领域国际最权威的学者之一，最近一年里，他一直在提 “以数据为中心的AI” ，希望将大家的目光从以模型为中心转向以数据为中心。
最近，在接受IEEE Spectrum的采访中，他谈到了对基础模型、大数据、小数据以及数据工程的一些感悟，并给出了发起“以数据为中心的AI”运动的原因。
“过去十年，代码—神经网络的架构已经非常成熟。保持神经网络架构固定，寻找改进数据的方法，才会更有效率。”
吴恩达表示，他这种以数据为中心的思想受到了很多的批评，就和当年他发起Google brain项目，支持构建大型神经网络行动，时候受到的批评时一样： 据吴教授介绍，批评者中不乏行业资深人士。
关于小数据，吴教授认为，它同样能够有威力：“只要拥有50个好数据（examples），就足以向神经网络解释你想让它学习什么。”
以下是采访原文，AI科技评论做了不改变原意的编译。
我们已经在自然语言处理（NLP）领域看到了基础模型（foundation models）的威力。说实话，我对更大的NLP模型，以及在计算机视觉（CV）中构建基础模型感到兴奋。视频数据中有很多信息可以利用，但由于计算性能以及视频数据处理成本的限制，还无法建立相关的基础模型。
大数据与大模型作为深度学习引擎已经成功运行了15年，它仍然具有活力。话虽如此， 但在某些场景下，我们也看到，大数据并不适用，“小数据”才是更好的解决方案。
IEEE：您提到的CV基础模型是什么意思？
是指规模非常大，并在大数据上训练的模型，使用的时候可以为特定的应用进行微调。是我和斯坦福的朋友创建的术语，例如GPT-3就是NLP领域的基础模型。基础模型为开发机器学习应用提供了新的范式，有很大的前景，但同时也面临挑战： 如何确保合理、公平、无偏？这些挑战随着越来越多的人在基础模型上构建应用，会越来越明显。
IEEE：为CV创建基础模型的契机在哪？
目前还是存在可扩展性难题。相比NLP，CV需要的计算能力更强大。如果能生产出比现在高10倍性能的处理器，就能够非常轻松建立包含10倍视频数据的基础视觉模型。目前，已经出现了在CV中开发基础模型的迹象。
说到这，我提一嘴：过去十年，深度学习的成功更多的发生在面向消费的公司，这些公司特点是拥有庞大的用户数据。因此，在其他行业，深度学习的“规模范式”并不适用。
IEEE：您这么一说我想起来了，您早期是在一家面向消费者的公司，拥有数百万用户。
十年前，当我发起 Google Brain 项目，并使用 Google的计算基础设施构建“大”神经网络的时候，引起了很多争议。当时有位行业资深人士，“悄悄”告诉我：启动Google Brain 项目不利于我的职业生涯，我不应该只关注大规模，而应该专注于架构创新。
到现在我还记着，我和我的学生发表的第一篇NeurIPS workshop论文，提倡使用CUDA。但另一位行业资深人劝我：CUDA 编程太复杂了，将它作为一种编程范式，工作量太大了。我想办法说服他，但我失败了。
我想现在他们都被说服了。
在过去一年，我一直在讨论以数据为中心的AI，我遇到了和10年前一样的评价：“没有新意”，“这是个错误的方向”。
IEEE：您如何定义“以数据为中心的AI”，为什么会称它为一场运动？
“以数据为中心的AI”是一个系统的学科，旨在将关注点放在构建AI系统所需的数据上。对于AI系统，用代码实现算法，然后在数据集上训练是非常必要的。过去十年，人们一直在遵循“下载数据集，改进代码”这一范式，多亏了这种范式，深度学习获得了巨大的成功。
但对许多应用程序来说，代码 —神经网络架构，已经基本解决，不会成为大的难点。因此保持神经网络架构固定，寻找改进数据的方法，才会更有效率。
当我最开始提这件事的时候，也有许多人举手赞成：我们已经按照“套路”做了20年，一直在凭直觉做事情，是时候把它变成一门系统的工程学科了。
“以数据为中心的AI”远比一家公司或一群研究人员要大得多。当我和朋友在NeurIPS上组织了一个“以数据为中心的AI”研讨会时候，我对出席的作者和演讲者的数量感到非常高兴。
IEEE：大多数公司只要少量数据，那么“以数据为中心的AI”如何帮助他们？
我曾用3.5亿张图像构建了一个人脸识别系统，你或许也经常听到用数百万张图像构建视觉系统的故事。但这些规模产物下的架构，是无法只用50张图片构建系统的。事实证明。如果你只有50张高质量的图片，仍然可以产生非常有价值的东西，例如缺陷系统检测。在许多行业，大数据集并不存在，因此，我认为目前必须将重点 “从大数据转移到高质量数据” 。其实， 只要拥有50个好数据（examples），就足以向神经网络解释你想让它学习什么。
使用50张图片训练什么样的模型？是微调大模型，还是全新的模型？
让我讲一下Landing AI的工作。在为制造商做视觉检查时，我们经常使用训练模型，RetinaNet，而预训练只是其中的一小部分。其中更难的问题是提供工具，使制造商能够挑选并以相同的方式标记出正确的用于微调的图像集。这是一个非常实际的问题，无论是在视觉、NLP，还是语音领域，甚至连标记人员也不愿意手动标记。在使用大数据时，如果数据参差不齐，常见的处理方式是获取大量的数据，然后用算法进行平均处理。但是， 如果能够开发出一些工具标记数据的不同之处，并提供非常具有针对性的方法改善数据的一致性，这将是一个获得高性能系统的更有效的方法。
例如，如果你有10,000张图片，其中每30张图片一组，这30张图片的标记是不一致的。我们所要做的事情之一就是建立工具，能够让你关注到这些不一致的地方。然后，你就可以非常迅速地重新标记这些图像，使其更加一致，这样就可以使性能得到提高。
IEEE：您认为如果能够在训练前更好地设计数据，那这种对高质量数据的关注是否能帮助解决数据集的偏差问题？
很有可能。有很多研究人员已经指出，有偏差的数据是导致系统出现偏差的众多因素之一。其实，在设计数据方面也已经有了很多努力。NeurIPS研讨会上，Olga Russakovsky就这个问题做了一个很棒的演讲。我也非常喜欢Mary Gray在会上的演讲，其中提到了“以数据为中心的AI”是解决方案的一部分，但并不是解决方案的全部。像Datasheets for> “以数据为中心的AI”赋予我们的强大工具之一是： 对数据的单个子集进行工程化的能力。 想象一下，一个经过训练的机器学习系统在大部分数据集上的表现还不错，却只在数据的一个子集上产生了偏差。这时候，如果要为了提高该子集的性能，而改变整个神经网络架构，这是相当困难的。但是，如果能仅对数据的一个子集进行设计，那么就可以更有针对性的解决这个问题。
IEEE：您说的数据具体来讲是什么意思？
在人工智能领域，数据清洗很重要，但数据清洗的方式往往需要人工手动解决。在计算机视觉中，有人可能会通过Jupyter notebook将图像可视化，来发现并修复问题。
但我对那些可以处理很大数据集的工具感兴趣。即使在标记很嘈杂的情况下，这些工具也能快速有效地将你的注意力吸引到数据的单个子集上，或者快速将你的注意力引向100个分组中的一个组中，在那里收集更多数据会更有帮助。收集更多的数据往往是有帮助的，但如果所有工作都要收集大量数据，可能会非常昂贵。
例如，我有次发现，当背景中有汽车噪音时，有一个语音识别系统的表现会很差。了解了这一点，我就可以在汽车噪音的背景下收集更多的数据。而不是所有的工作都要收集更多的数据，那样处理起来会非常昂贵且费时。
IEEE：那使用合成数据会是一个好的解决方案吗？
我认为合成数据是“以数据为中心的AI”工具箱中的一个重要工具。在NeurIPS研讨会上，Anima Anandkumar做了一个关于合成数据的精彩演讲。我认为合成数据的重要用途，不仅仅表现在预处理中增加学习算法数据集。我希望看到更多的工具，让开发者使用合成数据生成成为机器学习迭代开发闭环中的一部分。
IEEE：您的意思是合成数据可以让你在更多的数据集上尝试模型吗？
并非如此。比方说，智能手机上有许多不同类型的缺陷，如果要检测智能手机外壳的缺陷，那可能会是划痕、凹痕、坑痕、材料变色或者其它类型的瑕疵。若你训练了模型，然后通过误差分析发现总体上它的表现很好，但在坑痕上表现得很差，那么合成数据的生成就可以让你以更有针对性地解决这个问题。你可以只为坑痕类别生成更多的数据。
IEEE：您可以举例具体说明吗？若一家公司找到Landing AI，并说他们在视觉检查方面有问题时，您将如何说服他们？您又将给出怎样的解决方案呢？
合成数据生成是一个非常强大的工具，但我通常会先尝试许多更简单的工具。比如说用数据增强来改善标签的一致性，或者只是要求厂家收集更多的数据。
当客户找到我们时，我们通常会先就他们的检测问题进行交谈，并查看一些图像，以验证该问题在计算机视觉方面是否可行。假若可行，我们会要求他们将数据上传到LandingLens平台。我们通常根据“以数据为中心的AI”方法向他们提供建议，并帮助他们对数据进行标记。
让制造企业自己做机器学习的工作。 我们的很多工作都是为了软件的便捷使用。通过对机器学习的开发迭代，我们为客户提供了如何在平台上训练模型，以及如何改进数据标记问题来提高模型的性能等很多建议。我们的训练和软件在此过程中会一直发挥作用，直到将训练好的模型部署到工厂的边缘设备上。
IEEE：那您如何应对不断变化的需求？如果产品发生变化或是工厂的照明条件发生变化，在这样的情况下，模型能适应吗？
这要因制造商而异。在很多情况下都有数据偏移，但也有一些制造商已经在同一生产线上运行了20年，几乎没有什么变化，所以在未来5年内他们也不期望发生变化，环境稳定事情就变得更容易了。对于其他制造商，在出现很大的数据偏移问题时我们也会提供工具进行标记。我发现使制造业的客户能够自主纠正数据、重新训练和更新模型真的很重要。比如现在是美国的凌晨3点，一旦出现变化，我希望他们能够自行立即调整学习算法，以维持运营。
在消费类软件互联网中，我们可以训练少数机器学习模型来为10亿用户服务。而在制造业，你可能有10,000 制造商定制10,000 个人工智能模型。所面临的挑战是，Landing AI 在不雇用10,000名机器学习专家的情况下，如何做到这一点？
IEEE：所以为了提高质量，必须授权用户自己进行模型训练？
是的，完全正确！这是一个全行业的AI问题，不仅仅是在制造业。例如在医疗领域，每家医院电子病历的格式略有不同，如何训练定制自己的AI模型？期望每家医院的IT人员重新发明神经网络架构是不现实的。因此， 必须构建工具，通过为用户提供工具来设计数据和表达他们的领域知识，从而使他们能够构建自己的模型。
IEEE：您还有什么需要读者了解的么？
过去十年，人工智能最大的转变是深度学习，而接下来的十年，我认为会转向以数据为中心。随着神经网络架构的成熟，对于许多实际应用来说，瓶颈将会存在于“如何获取、开发所需要的数据”。以数据为中心的AI在社区拥有巨大的能量和潜力，我希望能有更多的研究人员加入！
版权文章，未经授权禁止转载。详情见 转载须知 。
中国研究生招生信息网是隶属于教育部的以考研为主题的官方网站，是全国硕士研究生招生报名和调剂指定网站，主要提供研究生网上报名及调剂、专业目录查询、在线咨询、院校信息、报考指南和考试辅导等多方面的服务和信息指导。
2019国民手游，网易手游史诗级巨作，与你相逢在青春的每个回合，人人都玩，无处不在!全新主角，英女侠、羽灵神，恭贺新春!全新神兽，超级神鸡，五福临门，神鸡贺岁!全新体验，虚实互动，AR登场，喜迎财神!全新神器，五行之危，极致策略，挑战升级!国民手游《梦幻西游》手游，由梦幻西游金牌
北京时间8月12日上午，北美联盟杯1/4决赛，由迈阿密国际主场对阵夏洛特FC。上半场约瑟夫-马丁内斯、泰勒联袂进球，下半场戈麦斯制造乌龙球，梅西破门锁定胜局，帮助迈阿密国际4-0大胜对手，昂首挺进4强，现场2万主队球迷狂欢庆祝晋级。
快克数控拥有众多领先的数控专利技术，在有机非金属CNC设计以及加工工艺技术研发方面取得了诸多突破性的成就，技术广泛应用于家居制造、模具制造、工艺品制造、特殊材料加工等众多行业。快克数控提供的全场景智能生产解决方案，助力家居生态链企业全面实现智能制造。服务热线：0531-85709077
Kinmart
山东金泰达电气有限公司
奇速网络，奇速建站！苏州奇速网络科技有限公司
触摸屏|电容屏-触摸屏网作为触摸屏行业资讯平台，包括电容式触摸屏产品报价，工业触摸屏，触摸屏电容屏新闻资讯，触摸屏厂家，触摸屏设备和材料，及导电玻璃保护膜油墨导电银浆导电膜贴合机贴片机等相关设备及材料，是专业的触摸屏网站。
广州美视创新科技有限公司
致力于干细胞治疗及生命健康的干细胞技术研发，在干细胞抗衰老美容,干细胞治疗卵巢早衰,干细胞治疗糖尿病,干细胞治疗子宫内膜,干细胞治疗癌症,干细胞治疗肿瘤,干细胞治疗肝病,干细胞治疗肾病,干细胞治疗脑血管疾病,干细胞治疗免疫性疾病,NK细胞等领域具有国内领先的技术和临床优势，在干细胞技术和临床领域拥有一线专家团队和多项专利成果。
广州零六光电设备有限公司物联网智能
唯美句子网是一个专注分享各类好句子的网站，提供伤感的句子、唯美的句子、一句话经典语录等句子大全以及说说大全、祝福语大全、名人名言、个性签名、经典台词、诗句大全等内容。
孙立涛，东南大学电子科学与工程学院院长，长江学者特聘教授，杰出青年基金获得者，东南大学，江南石墨烯研究院先进碳材料应用联合研发中心主任，东南大学，FEI纳皮米中心主任，MEMS教育部重点实验室副主任，曾获，江苏省十大青年科技之星，，入选科技部，中青年科技创立领军人才，目前任，电子器件，杂志主编，江苏省真空学会秘书长，美国IEEE纳米...。
去年三月底，国家仪器公司，NI，携美国第一大电信运营商Verizon在这周首次公开进行实时的无线5G原型机测试，旨在测试Verizon在28GHz频段的5G规范，雷锋网当时也对此进行了报道，根据NI发布的公告显示，这次测试是NI协同IEEEWCNC，WirelessCommunicationsandNetworkingConferen...。
人工智能技术一旦完全投入使用，它有可能拯救这个世界，也有可能终结这个世界，近日，VentureBeat与，谷歌大脑，的联合创始人吴恩达、Facebook人工智能研究院创始人YannLeCun等业内专家进行了对话，并将他们的观点整理成文，雷锋网AI科技评论选取了吴恩达和YannLeCun的观点进行编译，一起看看他们认为2018年有哪...。
雷锋网按，近日吴恩达发文将在4月底离职百度，几乎在同一时间，百度也宣布进一步深度整合，将包括NLP、KG、IDL、Speech、Bigtarget=，self>，深度，百度副总裁王海峰，百度在NLP领域都做了什么，王海峰博士出席的媒体活动不多，但在Quora上比较活跃，雷锋网根据王海峰博士在Quora上的五个精华问答整理成本文...。
雷锋网AI科技评论按，在今年2月份，雷锋网参加了AAAI2017，在带来一系列报道的同时，我们还举办了一场线下聚会，几天下来，雷锋网编辑有一个鲜明的感受，会场到处都是华人面孔，都能听到中文，甚至有一种，我一定是来到了假美国，的感觉，作为中国媒体，我们自然会对参加了AAAI的中国企业及论文团队多加关注，而，TheAtlantic，也敏锐...。
Wi，Fi是什么，它是一个基于IEEE802.11标准的无线局域网技术，如今，Wi，Fi已经覆盖了绝大部分的室内场景，你的手机、电脑、智能音箱都已经离不开Wi，Fi，但是，大部分人应该对现在的Wi，Fi使用体验并不满意，有时候，Wi，Fi信号满格却上不了网，有时候，你又疑惑为什么100兆带宽的光纤网络却慢如蜗牛，还有的时候，Wi，Fi...。
百度前首席科学家吴恩达宣布创业雷锋网6月24日消息百度前首席科学家吴恩达刚刚在Twitter上发布一条消息，显示他建立了一家新的公司，Deeplearning.ai，这则推文只显示该公司的一个标志和一个域名，不过，图片中吴恩达还标上了，2017年8月，，这很可能暗示新公司将于八月正式对外公布，也就是说，一个半月之后见分晓，媒体发现De...。
CVPR是IEEE一年一度的计算机视觉与模式识别技术会议，也是计算机视觉的世界三大顶会之一，2017年的CVPR会议将于7月21日到26日于夏威夷会议中心召开，雷锋网将赴前线做覆盖与报道，今天是CVPR大会的首日，一大早，CVPR的签到台就井然有序地排起了长龙，与其它国际会议相似的是，会议采用扫码打印名牌的方式入场，此外也支持通过下载...。
CVPR是近十年来计算机视觉领域全球最有影响力、内容最全面的顶级学术会议，由全球最大的非营利性专业技术学会IEEE，电气和电子工程师协会，主办，2017谷歌学术指标，GoogleScholar，按论文引用率排名，CVPR位列计算机视觉领域榜首，据雷锋网AI科技评论了解，今年CVPR审核了2620篇文章，最终收录783篇，录取率29%，...。
雷锋网AI科技评论按，截至发稿前，四篇荣获CVPR2017最佳论文的作者已经分别做了口头报告，而在到场聆听报告的所有人当中，有一位略显特别的听众——他便是本届CVPR的大会主席、微软研究院首席研究员张正友博士，在报告结束后，张正友主席与雷锋网AI科技评论进行了一次对话，张正友，ACMFellow，国际计算机学会院士，和IEEEFell...。
雷锋网AI科技评论按，6.14号，在美国凤凰城HYATT大酒店举办的IEEEComputerSociety，IEEECS，颁奖仪式，主席Jean，LucGaudiot为芮勇博士颁发IEEECS技术成就奖证书，雷锋网了解到，IEEECS技术奖是专门授予在计算机、信息科学、工程或计算机技术领域做出杰出和创新贡献的专业人士，芮勇博士作为去年...。
全新勒索病毒Petrwrap席卷欧洲一个全新勒索恶意软件正在攻击欧洲各地企业，乌克兰企业损失最为严重，乌克兰中央银行，当地的地铁以及基辅的鲍里斯皮尔机场受到破坏，乌克兰Ukrenego电力供应商系统也遭于中断，尽管一位发言人称电力供应不受袭击影响，丹麦航运公司马士基还报告了多个站点的系统遭遇破坏，法国和英国有用户报告被感染，该病毒也已...。
蛋糕店是专门出售蛋糕的店铺，蛋糕是指以面粉、甜味剂、黏合剂、起酥油，一般是牛油或人造牛油，低脂肪含量的蛋糕会以浓缩果汁代替，，液体，牛奶，水或果汁，，香精和发酵剂，例如酵母或者发酵粉，为基本原料制成的含水量较高、质地柔软的糕点，所用原料种类及其配比的变化，外观形状的差异，馅芯饰花的多样，使蛋糕的花色品种很多，蛋糕能够给人一种美的视觉享...。
宣布离职那天，团队全员抱头痛哭，这个场景让我感慨万分，回顾我在微软的三十年，我非常感激，它教会了我很多东西，作者，郭思编辑，陈彩娴6月9日，在微软工作了30年的华人科学家黄学东正式宣布离职，并加入Zoom公司担任CTO，黄学东的离开，为微软华人的传奇画上了浓厚的一笔，他的离开是个人选择，也是时代的变化所驱，一、中国大陆走出的第一个...。
近日，奇安信旗下盘古实验室最新研究成果，CoreEscalation，UnleashingthePowerofCross，CoreAttacksonHeterogeneousSystem，成功入围BlackHatUSA2023，在该议题中，盘古实验室高级安全研究员将详细介绍智能手机芯片SoC中应用处理器，AP，、基带、相机、传感器集线...。
对于世界上最重要能源之一的电能来说，其最大的缺点莫过于不能大规模储存，能量从发电厂输出之后，用了就用了，没用的也没法像水、天然气一样弄个容器屯下来下次再用，这也就导致了在非用电高峰期时发电量过剩，大量的能量被浪费，为了解决这一问题，长期致力于解决新能源问题的特斯拉又出手了，特斯拉日前宣布，其为企业提供的电池组产品最近在招标过程中被选中...。
ChatGPT的论文写作能力高过图灵，还骗过了AI写作评分工具，以ChatGPT为代表的文本生成的兴起，正促使许多研究人员寻求一个比原始版本更具挑战性的图灵测试，图灵测试解决两个问题，机器可以思考吗，，如果可以，，如何证明它，经典图灵测试针对的是AI最棘手的目标之一，如何欺骗不知情的人类，但随着当前语言模型变得越来越复杂，与AI...。
