英伟达有3项全新微服务 如何给智能体装个 AI护栏 (英伟达只有三个选项)

文章编号:52162 资讯动态 2025-02-01 NeMo英伟达NIM微服务Guardrails

消息,纽约大学研究人员发现,如果一个给定语言模型的训练数据中有的数据 “中毒”(即故意植入错误信息),那么整个训练集将可能传播这些错误。

数据“中毒”影响训练结果,AI的实际部署,安全性同样至关重要。

咨询公司Gartner预测,到2028年,AI智能体将完成 至少15%的日常工作决策并被应用于33%的企业程序。 大量的AI智能体开发需求,让企业解决其中的 信任、物理安全、网络安全以及合规性 等问题显得更加迫在眉睫。

近日,英伟达发布了全新的 保障代理式AI应用安全的NIM微服务,这将消除企业部署生成式AI时的安全疑虑,并且为生成式AI的普及提供安全保障。

全新的NIM微服务是NeMo Guardrails软件工具系列的一部分,这些可移植且经过优化的推理微服务可以帮助企业提高生成式AI应用的 安全性、精准性和可扩展性。

3项NIM微服务,兼顾高安全性和低延迟

NVIDIA NeMo Guardrails是一个开源工具包,允许开发者将 可编程护栏 添加到基于LLM的会话系统中,从而保障人工智能系统的安全与合规。

NeMo Guardrails引入的三项全新微服务,能够帮助AI智能体在 大规模运行时能同时保持受控行为。

内容安全NIM微服务(Content Safety NIM)使用了质量较高的人工注释数据源 Aegis内容安全数据集 进行训练,该数据集包含 超过35000个人工标记的数据样本 ,由英伟达整理并开源,已经在Hugging Face公开发布。高质量的数据集能够有效防止AI生成有偏见或有害的输出结果,确保回答符合道德标准。

英伟达的企业AI模型、软件与服务副总裁Kari Briski表示: “这是同类数据集中质量最高的数据源之一。”

话题控制NIM微服务(Topic Control NIM)能将对话聚焦在经过审核的话题上, 避免离题或不当内容。

越狱检测NIM微服务(Jailbreak Detection NIM)增加了对越狱企图( 指绕过模型的安全防护措施,让模型执行禁止的行为)的防护,帮助在对抗性场景中保持AI的完整性。

如何给智能体装个「AI护栏」?英伟达有3项全新微服务

由于 “一刀切” 的方法无法有效保护和控制复杂的代理式AI工作流,通过应用多个轻量级专业模型作为护栏,开发者可以弥补在只采取较为通用的全局策略和保护措施时可能出现的漏洞

可编程护栏数量的增加虽然能提升保障能力,但也会导致延迟有所上升,NeMo Guardrails以最小延迟提升保障能力, 极具“性价比”。

增加到5个护栏,延迟仅增加约1.25秒。与增加1个护栏,延迟增加1秒对比,实现显著的优化。这表明,NeMo Guardrails在提升保障能力的同时,对延迟的影响较小, 能够在保证系统性能的前提下提高安全性和合规性。

给汽车、零售、电信等行业的安全、精准、可扩展的「AI护栏」

NeMo Guardrails已向开源社区开放,其NIM微服务解决企业级客户的“后顾之忧”,使开发者能够构建 更加安全、可信的AI智能体。 智能体通过参考特定语境准则做出安全、适当的回答,并且加强了对越狱企图的抵御力度, 实现了在汽车、金融、医疗、制造、零售等行业客户服务中的部署。

软件和服务解决方案提供商Amdocs推出的amAIz平台是一个开创性的电信生成式AI框架,通过集成NVIDIA NeMo Guardrails,增强了平台的可信AI功能,保障代理式体验的 安全性、可靠性和可扩展性 ,从而让服务提供商能够安全部署AI解决方案。

Amdocs技术集团总裁兼战略主管Anthony Goonetilleke表示:“像NeMo Guardrails这样的技术对于保障生成式AI应用的安全至关重要, 能够帮助AI安全、道德地运行。”

专注于为汽车行业提供AI解决方案的Cerence AI,通过NVIDIA NeMo Guardrails帮助车载助手在其CaLLM系列大语言和小语言模型的支持下 提供符合语境的安全交互。

Cerence AI产品和技术执行副总裁Nils Schanz表示:“NeMo Guardrails可以帮助我们为汽车制造商客户提供可信的情境感知解决方案,并作出 明智、严谨且无幻觉的回答。”

在面向客户的专业知识应用上,更需保证AI生成式回答的安全性与可靠性。

家居装饰零售商劳氏公司通过利用生成式AI巩固店员的专业知识,以此让员工在面对客户的问题时能够“对答如流”。这背后,是NVIDIA NeMo Guardrails将AI的回答 “框定” 在正确的范围内,确保输出的内容 “不翻车”

劳氏公司的数据、AI和创新高级副总裁Chandhu Nair则表示:“我们一直在寻找方法帮助员工为客户提供超出预期的服务。通过部署NVIDIA NeMo Guardrails,保证了AI生成式回答的安全性与可靠性, 将对话强行限制在相关和适当的内容范围内。”

值得一提的是,NeMo Guardrails还 具备较好的开放性和可扩展性 ,可集成由AI安全模型和防护提供商组成的生态系统,以及AI可观察性和开发工具。支持与ActIveFence的ActiveScore(AI安全服务)集成,防止对话式AI应用出现有害或不当内容,并提供可视化、分析和监控功能。

区块链基础设施公司Hive以NIM微服务形式提供适用于图像、视频和音频内容的AI生成内容检测模型,通过使用NeMo Guardrails,Hive可将其模型集成到AI应用中并进行编排。

AI可观测性平台Fiddler与NeMo Guardrails集成, 可增强其监控功能。 端到端AI开发者平台Weights & Biases正在现有NIM集成组合基础上,通过增加与NeMo Guardrails微服务的集成来扩展W&B Weave的功能,以此提升AI推理能力。

此外,NeMo Guardrails还提供用于AI安全测试和漏洞扫描的开源套件NVIDIA Garak,用于LLM和应用漏洞扫描,借助Garak,开发者可以发现使用LLM中的系统中存在的漏洞,发现并解决AI模型中的潜在弱点,提高模型的稳健性与安全性。

目前,NVIDIA NeMo Guardrails微服务以及用于编排rail的NeMo Guardrails和NVIDIA Garak套件已向开发者和企业开放,开发者按照官网上的教程就可以使用NeMo Guardrails为AI客服智能体构建AI护栏。

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
富贵论坛

富贵论坛,二十年老富贵论坛,富贵论坛官网提供QQ号、抖音号、快手号、YY号、手机靓号、游戏账号交易,买号卖号就上富贵论坛交易平台!

单机游戏

3DM游戏网为玩家提供最新的游戏新闻、攻略、单机游戏资源、汉化资源、游戏补丁、游戏论坛等,经过多年努力已成为游戏玩家首要选择的游戏资讯、游戏资源网站。

有鸿微校园

有鸿微校园-智慧校园解决方案服务商

中财网

中国财经信息网络传媒,CFi.CN,24小时提供全面及时的财经新闻、股票、新股发行、数据、统计图表,财经分析软件等

中细软知识产权

中细软是中国专业的知识产权服务机构,集团始创于2002年,在北京、天津、河北、洛阳、宁波、苏州、太原、成都、大连、广州、深圳、圣地亚哥等国内外大中型城市设立了知识产权服务分部

济南助听器专卖,老人助听器,儿童助听器,西门子助听器,西嘉助听器

济南助听器验配网由济南声佳听力验配中心创办,电话:18595256123,是济南助听器专业验配中心,老人助听器,儿童助听器,西门子助听器专卖,西嘉助听器维修与保养服务!

全自动桥架成型机,全自动盖板机,冲孔机,全自动电缆桥架设备

霸州市智科启达自动化设备制造有限公司主营:全自动桥架成型机,全自动盖板机,冲孔机,全自动电缆桥架设备等桥架成型设备。

币元网

币元网,您的币圈资讯首选!实时更新币圈最新消息、深度行情分析及权威币圈新闻,助您精准把握市场动态,投资更有把握。

山东德葡石材

山东德葡石材装饰工程有限公司自2019年创立以来,立足于“中国石材之乡”--山东平邑,是一家集矿山开采、石材生产加工、批发销售、工程设计、工程施工、工艺雕塑、装饰施工等为一体的大型石材企业。拥有占地3万多平方米的石材加工生产车间,占地8千多平方米的原材料堆场,经营领域横跨整个石材产业链。德葡石材以规模和实力奠定行业地位,在市场大潮中浩荡前行,在激烈竞争中乘风破浪,力求高质量、高效率地满足各地客户的合作需求。

雅化集团

雅化集团创立于1952年,是中国最早建立的化工企业之一,股票代码002497,现有6000多名员工,70余个全资和控股子公司,分布于中国四川、内蒙、山西、吉林、云南、青海、福建、贵州、香港等省区和新西兰、澳大利亚等国家。 雅化集团现有锂产业和民爆两大主业。 雅化锂业专业从事锂盐产品的研发、制造、销售和贸易等业务,产品广泛应用于新能源、医药和新材料等领域,现拥有锂盐产品综合产能43000吨,是全球锂盐产品的主要供应商之一,2021年氢氧化锂销量全国第一,全球前三,2025年雅化锂业综合年产能将超过10万吨。

最新的应用和软件下载站

腾云网为您提供最新最全的软件应用和游戏下载,让你一次玩个够

全局底部横幅