不迷信大模型 交互 对话特斯联华先胜 现阶段的革新仍在 (不迷信的例子)

文章编号:42209 资讯动态 2024-12-04 AIoT大模型系统多模态

对话特斯联华先胜:不迷信大模型,现阶段的革新仍在「交互」

《流浪地球》里被视为“叛军”的 MOSS,是为火种计划量身打造的数字生命。它很聪明,有超越人类道德、哲学、科学、艺术等知识的能力,能在最短时间内得出最优解、做出“最正确”的决定,是趋于完美的智慧体。

如今大模型之于技术变革,为“行业”和“领域”在有限范围内落地,提供了近乎绝对的可能性,在新的AI商业化叙事里,人们或主动、或被动地加入资源竞赛狂潮中。

让人类永远保持理智,是一种奢求。正如 MOSS 前的人类文明,经历了一次次毁灭、又迎来浴火重生的涅槃史,我们也亟需从大模型落地的狂欢中回归技术理性。

身处这场军备竞赛中的特斯联 CTO 华先胜,也给出了自己关于大模型的冷静思考与破局答案,以下是华先胜和 AI 科技评论的对话实录,经 AI 科技评论节选整理如下:

观点一:大模型不是智能涌现的终点

在大模型“智能涌现”之后短短一年,物理世界与信息的生产方式发生革命性变化,映射到更广泛的城市空间,也必然带来新一轮的革新。对此,华先胜在对话AI科技评论时直言, “虽然大模型的确取得了很大的进展,但不要迷信大模型,它有它的局限。”

据华先胜回忆,去年 ChatGPT 出来之后,他非常地关注并且第一时间去试用了。不可否认的是,它确实是一个巨大的突破,一方面,惊叹它能力的大幅度提升,但坦白讲,也发现它不如我们想象般的强大,哪怕是稍微深入一些的问题,它的表现都不够好。

“过去深度学习刚诞生时,大家也觉得它可以解决一切问题,可以用足够复杂的模型和足够多的数据去建立现实世界各种问题的模型。但在实战中,其实需要深入行业才能真正解决问题。今天的大模型并没有改变这一规律, 仍然需要深入领域去了解对应的流程、数据等,才能解决行业的问题。 ”华先胜提到。

今天,在特斯联的超级智慧园区里,软体机器人成为大模型时代 MOSS 般的存在。它隐身于园区的各大屏幕里,对园区所有的事情了如指掌,你可以向它问路、获取需要的信息,也可以使用它执行操作。人与机器共存的背后,是大模型与 IoT 硬件通过语义对齐,实现人、物联网设备和城市之间的高度智能化,这与特斯联一贯以来坚持城域 AIoT 领域为技术核心的战略非常吻合。

那么,当 AIoT 遇见大模型,将会碰撞出怎样的火花呢?华先胜给出了他的思考:AI 是 AIoT 的灵魂, IoT 是它的感知和控制,像它的“手脚”,当然也包括为其提供“身体”的物理基础,也即算力资源。

LLM(大语言模型)的出现,推动 AI 能力向更通用的目标迈进了一步:首先, 大语言模型可以直接作为 AIoT 系统的交互界面 。其次,AIoT 数据天生就是多模态的, 多模态大模型有望解决过去很多需要通过 “AI + 规则”来解决的问题。

在华先胜眼中,目前提到 AIoT 大模型,主要有两条路线:

第一种是将过去 AI 所做的事情用大模型进行升级、再做一遍,这是大部分人的做法;

第二种是真正意义上大规模的 AIoT 大模型, 将AIoT 里的多模态异构数据真正使用起来 ,放入大模型当中去。

“不过,这种真正意义上的AIoT大模型未来也可能会很快出现,也可能需要很长时间。”华先胜说。

现阶段 AIoT 行业里所使用的大模型、仍处于他认为的第一种技术路线,也即基于语言或语言加视觉的“伪”AIoT 大模型。在“伪”AIoT 大模型出现前,AIoT 设备之间的连接和协同完全基于人类专家预定义的规则,这些规则是固定的、不完备的和不自我进化的,不一定能直接理解和遵循人类指令。但有了大模型后,根据高度多样的 Context(任意季节、时间、人物、指令等),我们可以自动地、动态地构建物体间连接和协同规则,提供自适应的、多样的、深入的、融合人类指令的智能场景体验。

华先胜在访谈中表示,“无论哪条路线,眼下特别典型的全域 AIoT 大模型还没有出现。”

观点二:立体感知,精准控制——释放 AIoT 大模型的洪荒之力

真正的AIoT大模型应该具备什么能力呢?华先胜认为,AIoT 与其他行业有两大差异。首先是异构数据多,大量的传感器收集了天气、温度、湿度、电量、降水量等各种各样的数据,信息更丰富;其次,IoT 设备不只是感知设备,还可以反向控制环境。 更丰富的感知维度,更强大的行动力,这是 AIoT 大模型所应该具备的。

回到场景下去赋能 AIoT 领域,仅依靠一个通用的、又有很多局限的大模型是很难实现。因此,AIoT 大模型还要满足几个特性:

第一, 专业性。 它一定是专业的,能够解决领域内更专业的相关问题。今天的大模型看上去很厉害,但并不具备足够的领域专业信息,无法在园区里真正使用。

第二, 可靠性。 模型对所关注的场景要非常了解,一方面通过引入新知识让它懂得足够多;其次,还需要一些约束的方法让输出结果高度可靠,不出现“一本正经胡说八道”的“幻觉”。

第三, 性能和成本的平衡。 从训练成本出发,一个特别大的通用模型不是一个常规创业公司所能承受的;其次在推理时,如果用户量或访问量过大,也会导致大模型服务撑不住。因此,简化模型是一个好的选择。我们不需要它是一个百事通,只要能解决我所关注的问题,且具备一定的常识就可以了。

第四, 系统打通。 这个大模型不只有知识,更要同园区的系统深度耦合,以获取实时信息,还能在被授权的前提下去实时地反控园区。

当提及近期备受关注的具身智能技术,华先胜在访谈中提及: 我们提出的AIoT大模型,是现有大模型技术的具身化。 AIoT 设备既是我们的眼睛和耳朵,也是我们的手和脚。目前,我们更多地聚焦于交互和场景联动,后面我们也会将感知和控制也替换成大模型。特别是,我们的超级 IoT 设备和机器人,在无缝联合的服务器端能力(物联网和大模型)和机器人侧能力(感知、规划、行动和交互)的支持下,本身就是具身智能的体现,只不过特斯联的机器人具身智能是“机境协同”的具身智能,不只是机器人本身的直接能力。

观点三:落地之难——AIoT 大模型的多模态挑战

关于 AIoT 大模型落地的难点,华先胜认为,其难点主要有几个方面,除了满足上述提到的专业性、可靠性、性能和成本的平衡、以及系统打通外,落地对实时性要求也会高很多,因为它是一个真正在 working 的 AIoT 系统;此外,它在能力上的演化,不仅是大模型自身的更新,还涉及数据积累、记忆迭代等。总的来说, AIoT 大模型落地最大的难点在于多模态。

长期来看,将 IoT 数据统一融入 AIoT 大模型中是有可能的,也许是以文本/图片为中心、其他 IoT 数据和中心对齐的方式,这是需要的。但 由于AIoT 数据的异构和多模态,将不同类型的数据整合和有效地利用,需要克服数据表示和对齐的挑战。

首先,在数据表示上,各类传感器数据应该以何种形式建模,是参考文本作为序列输入、还是参考图像作为矩阵输入、还是一种新的建模形式?对此,目前无论是学术界和工业界都暂无定论。

此外,在数据对齐上,语言模型从语言中学习、又生成语言,这是人类能理解的,而AIoT领域有很多没有标签和信息标注的数据,其本身的上下文也大多不具备显性的语义,无法将语义与数据进行对应,这使得它生成的数据、信息无法被理解, 需要再加工建立 AIoT 数据和自然语言的语义对齐,才能赋予这些数据以意义。

观点四:大模型不是 AGI 唯一途径,「模型+系统」才是正解

面对 AIoT 等各个领域 A I落地面临的困境,如何实现真正意义上的AGI?华先胜认为目前有三条可能的路径:

华先胜以 AIoT 领域为例子表示,大语言模型本身是 AIoT 的扩充, 将大语言模型作为一个具有强大理解能力的“大脑”,再通过系统连接 AIoT 设备来给它配上“眼睛”、“鼻子”、“耳朵”、“手”和“脚”,使其具备多元的感知、分析、决策和控制能力,从而实现更强的智能。 「模型+系统」 使用得越来越多,积累了更多数据,才有可能真正实现多模态、异构数据的“大一统”AIoT 大模型。

对话京东何晓冬:「多模态大模型」涌现之前,要先回答三个问题

原创文章,未经授权禁止转载。详情见 转载须知 。

对话特斯联华先胜:不迷信大模型,现阶段的革新仍在「交互」

全局中部横幅
PSD素材

站长素材PS素材栏目,提供广告海报PSD素材,科技金融PSD素材,文化美食PSD素材,人物生活PSD素材,花纹边框PSD素材,网页元素PSD素材,写真画册PSD素材,创意概念PSD素材,名片设计PSD素材等PS素材免费下载。

众安保险

众安保险是国内首家互联网保险公司,由蚂蚁金服、中国平安、腾讯联合发起设立;众安保险业务涵括医疗保险,重疾保险,大病保险,健康医疗保险,意外保险,少儿保险,女性保险,成人保险,中老年保险,航旅保险,旅游保险,团体保险,汽车保险等综合保险;众安保险定位于服务互联网生态,做更好的保险服务,未来,和你一起,更精彩!做有温度的保险!

北京京海佳业科贸有限公司

北京京海佳业科贸有限公司是优质的高精度超声波测厚仪,超声波多层涂层测厚仪,梅特勒/岛津实验室电子天平,多参数水质检测仪,德国视得乐望远镜供应商,主要经营产品有:高精度超声波测厚仪,超声波多层涂层测厚仪,梅特勒/岛津实验室电子天平,多参数水质检测仪,德国视得乐望远镜!

广州公司注册

工商执照、公司注册、财税申报等问题,可以找账品会代办。账品会(400-138-2366)一站式企业服务,已经覆盖广东全省,可以为您提供公司注册代办、代理记账报税、商标注册代理、注册地址挂靠等服务,用心服务、良心保证、客户至上,助力创业者和企业实现梦想。

企业邮箱申请注册

如何选择企业邮箱,企业邮箱哪个好?推荐使用中国最好的企业邮箱-中国企业邮箱和阿里企业邮箱,大品牌值得信赖。选企业邮箱到中国企业邮箱网,服务优,价格更低至5折。

东莞市威拿机械设备有限公司

东莞市威拿机械设备有限公司专注于喷涂工具研发、设计、制造与销售,主要产品有自动喷枪,手动喷枪,油漆喷枪,陶瓷喷枪,电镀喷枪,涂料喷枪,水性漆喷枪,机械手机器人喷枪,喷头,喷漆机等,提供高效喷涂技术解决方案.

北京首大眼耳鼻喉医院

北京首大眼耳鼻喉医院是北京市三级眼耳鼻喉专科医院,北京市医保定点单位;挂号预约:010-67002802;开展眼科,耳科,鼻科,咽喉科,头颈外科,儿童耳鼻喉科,中医科;首大眼耳鼻喉医院地址位于北京市丰台区成寿寺路中街33号.

新农村网

“新农村”网站客户端是在深入贯彻十四五规划、十九届五中全会以及2020年中央农村工作会议关于“优先发展农业农村,全面推进乡村振兴”的精神指引下应运而生的一款以“党建引领数字乡村”为核心价值观,致力于打造践行三农使命,服务乡村振兴,专注于人才赋能乡村振兴的新生态互联网新媒体客户端。

体育资讯

鸵鸟体育快讯网_您可以及时掌握各种体育赛事的动态,包括足球联赛,篮球锦标赛,网球公开赛等.我们提供专业的分析和评论,帮助您更深入地了解赛事和运动员的表现.

河南

河南省索菲特智能科技有限公司秉承品质与服务的经营理念,竭诚为新老客户提供优质产品与服务,最大限度满足广大客户的需求。服务客户,成就客户,开拓创新,追求卓越是索菲特的不断追求,真诚期待与新老客户合作并进,共创未来!

中国太平洋保险官网可购买车险

中国太平洋保险是国内领先的综合性保险集团,拥有车险、人寿保险、财产保险、养老保险、健康保险、农业保险和资产管理等保险全牌照。太保官网入口为客户提供保险购买、保险查询、保险咨询理赔等服务,太平洋保险公司客服咨询电话:95500

深圳航天智慧城市系统技术研究院有限公司

深圳航天智慧城市系统技术研究院有限公司(简称:航天智慧院)成立于2016年。着重发展:政府数字化和企业数字化两大业务板块。政府数字化,主要面向城市信息模型(CIM)、智慧园区(社区)、智慧水务、智慧安全应急等政府治理数字化建设需求,基于数字孪生产品技术体系提供咨询服务、顶层设计、综合解决方案和集成服务;企业数字化,主要围绕能源、制造、建工等领域的企业数字化建设需求,提供基础软件工具、数据终端和定制

全局底部横幅