2023 Zilliz星爵 Agent丨GAIR 向量数据库的下一个杀手锏级应用是AI (2023子女教育专项附加扣除的标准)
作者丨何思思
编辑丨林觉民
2023 年 8月14日，第七届GAIR全球人工智能与机器人大会在新加坡乌节大酒店正式开幕。论坛由GAIR研究院、、世界科技出版社、科特勒咨询集团联合主办。
大会共开设10个主题论坛，聚焦大模型时代下的AIGC、Infra、生命科学、教育，SaaS、web3、跨境电商等领域的变革创新。此次大会是在大模型技术爆炸时代，首个出海的AI顶级论坛，也是中国人工智能影响力的一次跨境溢出。
在第一天的大模型时代的超级基建专场上，Zilliz创始人兼CEO星爵进行了以“向量数据库作为新一代基础设施如何为大模型提供语义存储”为主题的精彩演讲。
过去的每个十年，AI都迈向一个新的阶段。星爵指出，受限于研发成本和开发难度，过去十年全球仅有1%的开发者专注于AI领域的研发工作，但如今有了大模型和向量数据库作为能力基座，一个AI 应用的开发仅仅需要两三个工程师一个周末的时间便可完成。
“忽如一夜春风来，千树万树梨花开。”对于大模型，星爵如此评价道。除此之外，星爵还强调了向量数据库之于大模型的重要性。他认为，向量数据库承担着大模型数据片外存储的重任，不管是图片、视频语言还是生物学中蛋白质的三维结构，都可以用向量的方式表征它的语义。
回到大模型目前落地遇到的最主要困境，即数据实时性和私域专有数据的问题，学术界和工业界存在两种解决方案，一是通过Fine tuning的方式迭代演进，让大模型学到更多的知识；二是通过Vector seArch的方法，把最新的私域知识存在向量数据库中，需要时在向量数据库中做基于语义的向量检索，这两种方法都可以为大模型提供更加精准的答案。
但是从成本角度出发，向量数据库的成本是Fine tuning的1/ 1000。所以大模型厂商都无一例外地推荐开发者使用向量检索的方式做知识库管理，以便和模型有一个更好交互，降低落地使用成本的同时，提升在业务中的实际效果。
以下是星爵的现场演讲内容，作了不改变原意的编辑及整理
星爵：谢谢主持人，特别开心能来到新加坡跟大家交流，今天我分享的主题是关于向量数据库作为新一代为 AI 时代提供语义存储的基础设施有哪些机会和挑战。
我们都知道过去十多年AI发展的特别快，基本上每隔十年都会来到一个新的阶段。如果我们把时间线拉得更长一点，过去十年最大的革命浪潮是什么？是移动计算。
十年前硅谷有一个很常见的现象：一群狂热的开发者利用周末的时间，甚至24小时内就能做出一个移动应用程序，这也是为什么我们经常说十年前涌现了一波很好的AI开发浪潮，年纪稍长的人可能都知道在上一次移动计算的浪潮开始前，开发一个移动应用程序是相当复杂的，比如当时诺基亚的塞班程序，从编译器到工具开发起来困难重重。
上一代的移动开发主要以安卓和iOS为代表，它极大地简化了移动的开发栈，使得数以千万计的开发人员涌入进来，他们只需选择一个开发平台，以类似MongoDB的数据存储管理，再加上类似Figma、 Sketch的设计工具，就可以用一个周末的时间做出一个移动开发程序，这就是我们过去十年AI发展的结果。
但随着AI工具栈复杂程度的提高，也相应地带来了很多问题：
一方面，企业要想做一个AI程序，需要在几百个项目中挑出几十个项目，从运维、调优、训练到最后的部署都需要花费大量的人力、物力、财力。
另一方面，对工业界的AI应用方来说，成本是居高不下的。此外，AI 应用开发程序的复杂程度也极大地限制了开发人员的进入。根据过往十年全球GitHub的数据显示，全球仅有不到1%的开发者从事AI开发工作，也就是说全球工程师的数量不足100万，所以我们会发现AI开发工程师通常会轻轻松松地拿到丰厚的报酬、股票期权甚至是更好的跳槽机会，但其实这对整个AI行业的发展是非常不利的。
今年上半年整个AI行业发生了翻天覆地的变化，可以用“忽如一夜春风来，千树万树梨花开”形容。还是拿今年3月份在硅谷看到的现象举例：很多AI开发的爱好者常常聚集起来，用一个周末的时间做出一款应用程序。在研发过程中，他们基本会用很简单的工具栈；接着选一个类似ChatGPT的大模型平台管理包括文本、图片、视频、知识库等在内的数据；随后他们会找一个系统做向量数据库，把数据用语义的方式管理起来，提供一个很好的语义检索；最后还他们需要Prompt Engineer提出很好的问题，这样就能保证三个人的小组在周末就轻轻松松地做出一个基于大语言模型的应用开发程序。
我们把这套开发工具栈提炼成“CVP stack”，C代表类似 ChatGPT 这样的开发平台，它后面有大模型，有一套完整API生态；V 代表Vector>
过去半年，国内出现了一些增长很快的开源的开发框架，本质上都是围绕CVP stack 所展开的更简化的开发工具。我们有一个预测：CVP stack能极大地降低开发成本。因为未来不只会有大模型，还会有多语言模型，跨模态模型，跨领域模型，这些模型都会极大地简化开发程度，包括向量数据库、Prompt Engineer都能开发出各种各样的应用程序，这就会驱使大量开发者涌入AI应用程序开发这个赛道。
我相信未来三年一定会有越来越多的人拥抱 AI 开发。其实现在我们也已经看到这个趋势，比如做一个APP，一个网站或者一个startup，基本是无大模型、无AI不成 startup，大家都在考虑把自己做的应用程序用大模型重做一次，这就意味着未来AI开发会变地越来越民主化。
向量数据库的应用场景：私域知识库、应用开发程序、数据处理
我还想着重跟大家分享一下，为什么向量数据库承担了大模型数据片外存储的重任？
如果打开一个神经网络，我们可以看到里面每个节点传输数据的权重，这就是我们说的向量。 所以大语言模型中传输数据的基本单元，你就可以认为向量是一个最基本的语义的传输单元，不管是图片、视频语言还是生物学中蛋白质的三维结构，都可以用向量的方式表征它的语义。
向量其实已经成为了非结构化数据在AI中语义表达的一种最根本的表达形式和基本的数据单元，这就是为什么要把各种各样的数据向量化后，存在向量数据库中，等到需要时再在向量数据库中做语义的检索和管理。
如果回到大模型目前落地遇到的最主要困境，即数据实时性和私域专有数据的问题，学术界和工业界存在两种解决方案，一是通过Fine tuning的方式迭代演进，让大模型学到更多的知识；二是通过Vector search的方法，把最新的私域知识存在向量数据库中，需要时在向量数据库中做基于语义的向量检索，这两种方法都可以为大模型提供更加精准的答案。
但是从成本角度出发，向量数据库的成本是Fine tuning的1/ 1000。所以大模型厂商都无一例外地推荐开发者使用向量检索的方式做知识库管理，以便和模型有一个更好交互，降低落地使用成本的同时，提升在业务中的实际效果。
所以一个最简单的总结就是，大语言模型负责计算，向量数据库负责存储尤其是语义存储。在过去半年时间里，向量数据库也涌现出了一系列的应用场景，我们总结为四类：
用向量数据库构建各行业各企业的私域知识库。我们知道每个企业都有很多数据，包括Word 文档、会议摘要、PDF、产品说明书等，这些其实都可以通过向量化的方式提取语义放到向量数据库中，当和大语言模型交互时，就可以把相应领域的相关知识，作为一个prompt 传给大语言模型。
当然我们肯定不想把所有的知识都传给大模型，因为所有知识库加起可能有几百万、几千万甚至上亿个token，所以就需要精确定位到和“我”提问的问题上下相关的内容，定位越精准，就意味着可以用越少的token、越经济的方法得到你想要的结果。
那通过向量数据库检索的方式就可以从你的私域知识库中找到相关的片段，然后把它构建为 prompt的一部分传递给大语言模型，从而得到一个更好的结果，这就解决了大语言模型在某些领域“胡说八道”的现象。
同时大语言模型重新训练一次的更新速度是非常慢的，像GPT其实是基于2021年9月之前的知识构建的，更新训练模型时通常会涉及到整个模型的全训练、调优以及收敛等，成本非常高，这时就可以把实时增量的知识通过向量数据库的方式供给大模型。
第二，用大语言模型＋向量数据库＋Prompt Engineer （CVP Stack）的方式，构建基于大语言模型的应用开发程序。其实我们在调用OpenAI时发现，大模型有时候产生出来的问题非常好，那这些问题实质上就可以成为知识库的一部分。
在这个过程中，我们会思考如果用向量数据库的方式把这些知识缓存下来，这样下次再需要获得同类知识时，就不需要再次调用大模型，我们把这个能力称为基于语义的新一代缓存。 我们知道上一段的缓存基本上是基于Memory Cache、Redis，本质上是基于关键字匹配的一个正定的缓存。
而在大语言模型中，同样的问题可以有不同的答案且每个答案都是正确的，不同但类似的问题，也可以得到相同的答案甚至类似的答案。也就是说不同的人在问相同的问题时，有不同的问法，这就需要通过向量数据库提供一个模糊语义的检索和匹配。基于这样的需求，今年我们开源了一个GPTCache的项目，仅 4 个多月时间已经在Git Hub上收获了5000颗Star，全球范围内拥有100 多家企业级用户。
第三，用户在调用大语言模型时肯定希望模型越用越好，且越来越能理解用户的需求，甚至可以预测接下来会发生什么。所以我们在使用的过程中，大模型会把历史的交互情况缓存下来，以便为下一次交互提供上下文的参考。上下文越来越多时，相应的管理工作也会变得相当复杂，这时向量数据库就可以存储你每次的交互内容、个性定制话题，从而让大模型越来越了解你。
第四，在训练大语言模型的过程中，要灌入各种各样的数据，这时就会涉及数据对齐，数据清洗、数据处理等工作，实际上这些工作已经可以用向量数据库的方式做预处理了。
向量数据库的下一个杀手锏级应用：AI Agent
当我们看到向量数据的这些场景时，也会好奇AI的下一个杀手级应用是什么？向量数据库的下一个杀手锏级的应用在哪里？
其实从今天上午到现在，大家不止一次提到了AI Agent。大概三个月前在Hacker News上就引发了一场非常激烈的讨论，这是我当天做的截屏，大概持续了几个小时，这应该是当天讨论最热的一个Topic。
Auto-GPT基本两个多月就在GitHub上收获了十四万颗star，是有史以来最快达到这个成绩的一个项目，斯坦福的这篇论文也指明了无数工程师、大学研究人员下一代研发的方向等。此外，一些领先的企业也已经开始做相关探索。比如现在商业化领域已经出现了类似名人明星的代理，我们可以跟他们聊天互动等。
其实，AI Agent 本质上是AI从Copilot 走向Autopilot 的一个必然阶段。比如现在不管是微软的代码生成，还是微软PPT的辅助工具都可能叫做Copilot。但是我觉得下一步如果这些智能代理能具备很强的推理能力、很强的感知能力、很好的记忆力，它就一定能进行自我迭代、自我演化，真正成为一个Autopilot。那在我们向更强大的AI Agent演进的过程中，向量数据库将承担一个类似人类的长期记忆的角色。
我们都知道人的大脑有很多分区，人有一项最基本的能力，就是能够记忆。我们记得我们背的第一首古诗是什么、记得十年前我们跟某个人的对话是什么样的，记得当时是什么样的场景得出了什么样的结论等等。相应地，在AI Agent的演进过程中，向量数据库就提供了长期记忆，也就是类似人类的海马体的功能。
总体而言，我认为，新一代AI的篇章刚刚展开，未来一定会出现跨模态、多模态、甚至跨领域的大模型。Zilliz从2018年开始做向量数据库，我们也希望能和更多的AI科研人员、创业者、工程师们一起探讨AI发展以及未来AI的边界，谢谢。
原创文章，未经授权禁止转载。详情见 转载须知 。
中国银行是中国国际化和多元化程度最高的银行，在中国内地及六十多个国家和地区为客户提供全面的金融服务。主要经营商业银行业务：公司金融、个人金融和金融市场业务，并通过附属机构开展投资银行、保险、直接投资、投资管理、基金管理和飞机租赁业务。
高顿教育为大家提供2024年FRM备考资料，包括FRM习题、FRM视频网课、FRM一二级全新资料包。
美团外卖专业品质外卖网，饿了订外卖就上美团外卖。美团外卖覆盖全国各城市优质外卖商家、快餐和特色美食，拥有优秀的外卖网上订餐平台和外卖送餐团队，提供24小时叫外卖、外卖网上订餐服务。
周末画报官方网站继承周末画报的国际化视野和对品质的追求，精心打造热门资讯、时尚情报、商务潮流、文化观点、艺术品鉴、城市生活等优质内容，服务全球华人中最具活力和视野的用户，致力于成为本土最具国际化和革命性的综合媒体平台。
五分钟生活圈基于互联网O2O思维，以社区生鲜为入口，深入覆盖本地社区，在生鲜连锁超市利润日益透明的趋势下，通过与物业强强合作，搭建电商平台，采取基地直采直供，统一管理配送，社群营销等诸多方案，逐渐做成本地化，数字化，垂直化的社区生鲜新模式、新品牌。通过多年的商业积累和完善的供应链体系，在品牌加盟中，帮加盟商把货卖出去，解决客流，提升转换率，拉高客单价等问题上有着一套成熟的落地实操方案。
南京澳瑞森电器设备有限公司是专业的卡登仕,CEEPS,华东供暖，暖气片，电采暖，家庭采暖，暖气，冬季采暖，家用暖气片定制报价提供方案费用,让澳瑞森以永不满足的精神，致力于高品质生活的创造！
汉中车源网www.che0916.com，是汉中二手车出售最新信息发布平台及免费二手车中介，如果您有二手车转让估价、置换收购等需求，本站均竭诚为您服务！
厦门创享味来餐饮管理集团
网站首页-上海量久再生资源回收有限公司
MT管理器官网
专业家教网站，能够提供语文， 数学，英语，物理，化学等学科以及奥数，小提琴，钢琴，书法，计算机 等全方位的家庭教育服务。为广大学员提供各学科的兼职家教老师和专职家庭教师，帮助小学教师、中学教师和大学生家教寻求家教兼职。
业界动态,图文资讯,游戏前瞻,游戏评测
随着社会的经济发展，人口的流动不断的增加，人们外出旅游或者是外出工作以及出差，在外的话，很多人都会选择酒店，酒店入住方便，而且拥有优越的生活条件，并且很多的孩子都会有常常去住酒店的想法，市面上的酒店品牌很多，而莹润酒店就是一家具有很高的商业价值的酒店，酒店的环境好，服务的质量高，并受到消费者的认可，一些创业者也想要加入酒店行业，以获得...。
北汽电动车，一家新时代下的国有控股高科技上市公司和绿色智慧出行一体化解决方案提供商，致力于为用户创造电动化、智能化、个性化的驾乘体验，构建汽车与能源、互联网、AI人工智能产业融合发展的新生态、新格局，打造面向未来的绿色智能科技服务平台，至于北汽电动车怎么代理，一起去了解一下，自2009年成立以来，北汽新能源以电动化为突破口，以科技为核...。
很多人在周末的时候就会出门逛超市，购买自己日常生活需要的东西，现在大多数的人群都会选择智能超市，智能超市不需要排队，而且都是扫码付款，比较方便，因此也就出现了各种系列的智能超市品牌，E21智能超市一直都是有很强的实力，会为顾客提供贴心的服务，所售卖的产品种类很齐全，性价比很高，顾客都很喜欢去这个品牌超市购买东西，所以众多创业者发展了品...。
手机已经是生活必需品，人手一台，由于手机的快速发展也促使了手游行业迎来了迅速的扩展，现在多数人手机上都安装各类的手机游戏，休闲的时间玩玩手游打发时间，随着手游的广受欢迎，很多人开始加盟其中，龙创手游就是一个比较好的加盟项目，于是，大家都在问龙创手游加盟费，谁加盟过，接下来，跟着小编一起来看看吧！龙创手游本着玩家充值，你就收效的经营理念...。
其实有关面馆在市场上的发展还是很具有前景的，如今有很多人对于面食的追求也是比较高的，所以说选择加盟一家面馆，未来的发展也会很不错，但是在面馆行业中拥有很多的竞争力，所以在挑选品牌的时候应该要认识对于一般面馆加盟费多少钱，还是要看你所加盟的品牌了，一般面馆加盟费多少钱，说到面馆的品牌，可能很多人都比较青睐于2014年所成立的巴味仙面庄面...。
人靠衣装，美靠靓妆，很多女性朋友为了永葆美丽肌肤，焕发无穷魅力，就会时常光顾美容院，正是因为有这样旺盛的需求，国内美容行业也就取得了突破性的发展，不少创业者都想开一家美容院加盟店，那么，2016容院加盟什么牌子好，小编在此为大家推荐百莲凯美容院，百莲凯美容院成立于2001年，是美容连锁经营的先驱，百莲凯拥有独立的科研、生产及人才培训基...。
水果捞是一种制作简单、原材料易得的甜品，尽管价格不菲，却因其健康美味而受到消费者的喜爱，水果捞主要由各种新鲜水果、酸奶、冰沙、冰淇淋和干果仁等组合而成，尤其在夏季备受欢迎，常见的水果有西瓜、芒果、桃子、草莓、奇异果、哈密瓜、圣女果、火龙果等，制作方法简单快捷，即切即食，既新鲜又解暑，那么，现在开一家水果捞店前景如何?水果捞店因其健康美...。
餐饮行业一直都是很不错的行业，会因为一个网红或者一个网站，带动了一个品牌的发展，美食一直都是离不开消费者生活的，经过网络时代的传播，会有很多人知道这种品牌，就像鲜贝恋贝壳粉品牌，网络时代给这个项目带来了很多的销售额，现在成为了一种网红项目，有些智慧之选商关注了这个项目，在消费者的眼中的爆品，鲜贝恋贝壳粉加盟费多少，鲜贝恋贝壳粉的由来就...。
马上就到十一国庆了，假期里想好怎么穿搭了吗，在这个秋意浓浓的日子里，姑娘们也是时候为自己准备几件内搭单品了，那么女生秋季内搭怎么穿好看呢，今天丹比奴女装为大家献上时尚的五款内搭单品，怎么穿都不会出错哦！秋季内搭单品1，针织衫寒冷的秋季入手一件针织衫是必须的，作为经典色调的白色是内搭受欢迎的色彩之一，一款修身版型的高领针织衫，简约大气的...。
孩子的教育问题始终都是社会热门话题，在双减政策的加持下，推动素质教育行业的快速发展，AI技术得到很多家长的认可，为孩子们带去更好素质教育，北四网校AI智领学习平板历经二十多年发展，创意运营模式，先进教学理念，使其成为教育领域中的实力品牌，那么北四网校AI智领学习平板好加盟吗，售后服务如何，北四网校AI智领学习平板从品牌创建到现在已经有...。
现在的人都十分重视饮食营养，吃东西讲究营养，其实每一种食物都有自身的营养价值，都有它存在的意义，但是不同的烹制方法会使食物的营养价值流失，失去了食物本身的营养价值，在众多烹制方法中，清蒸或是蒸焖是一种很好的烹制方法，因为这种烹制方法不会造成食物的营养流失，小火老师焖锅是一家生意不错的餐饮店品牌，该餐饮店所销售的食物都是以焖为主，食物健...。
创业哪个项目好，近年来儿童阅读加盟行业持续保持增长状态，主要在于以下几点，·全民阅读、文化自信是大背景，阅读是一个比较好的创业切入口；·9月份新的中小学新教材上线，整本书阅读对孩子的阅读量、阅读能力提出了更高的要求；·AI时代，培养孩子的综合能力成为大趋势，而阅读是其中的重要途径……在这种背景下，以借阅，读书会，研学活动为运营模式的书...。
冰淇淋市场前景广阔，尤其在炎热的夏季，不吃上冰淇淋总觉得缺少什么似的，冰淇淋香甜可口，沁人心脾，各种奶油、水果口味可以任消费者自由挑选，并且冰淇淋价格实惠，好吃解渴，尤其受到孩子们的喜爱，冰淇淋口味好，品牌多，今天小编要为大家介绍3D冰淇淋，在市场上的竞争力一直只增不减，3D动感冰淇淋加盟好吗，3D动感冰淇淋属于上海祝赢餐饮管理有限公...。
日常生活中，经常会碰到家居无法安装等售后问题，鲁班到家就是一个可以解决这些问题，并且在这方面取得不错成绩的知名品牌，随着家居需求的增长，该品牌的需求也变得更高，很多创业者从中发现了该品牌的创业价值，想要从事该品牌的代理，那么，鲁班到家安装能代理吗，鲁班到家安装能代理吗，作为一个专注家居售后服务的品牌，该品牌在推出之际就获得了众多消费者...。
学校没收学生手机后，手机去向不明，是否已被分配给他人使用，或者已经转售，在手机被没收时，教师通常会说明取回手机的时间，比如一个月后或学期末，且并未赋予权利进行销毁或不予归还，此行为不可取，建议报警处理，如果手机未被归还，且为个人行为，教育局可能认为员工缺乏道德，可对相关人员进行谴责、解雇，或不予追究，但教育局并无责任追回物品，若情况属...。
在爱普生家庭影院4010，与它的商业行双胞胎以来，爱普生家庭影院4050，是爱普生首款在2018，2019年车型年的新的投影机，自从最近推出以来，目前售价为1，999美元，流行的奥图码UHD51A拥有相对类似的规格，在撰写本文时，价格低于1，699美元，在奥图码UHD51A，在我们进行类似的UHD51A近双胞胎妹妹模型最近的对峙而对于...。
发表在专业问答2024，11，2015，58展示机型信息，品牌型号，当贝F7Pro系统版本，当贝OS5.0投影仪画面颠倒可以通过投影仪的投影方式来调整，总共可以分为三步，下面为投影仪画面颠倒怎么办的详细步骤做具体说明，投影仪画面颠倒怎么办1.打开投影设置在投影仪的主界面点击设置图标打开投影设置界面；2.选择图像设置在投影设置中选择图像...。
