TELUS数字研究揭示人工智能模型行为中的隐藏风险

研究表明，使用角色提示可能会导致LLM道德判断发生变化，导致意想不到且不一致的反应

对于企业来说，这意味着仔细的模型选择、严格的测试和持续的评估对于确保生产中一致、可靠的人工智能行为至关重要

BC省温哥华，2026年2月25日/CNW/ -TELUS Digital发布的一项新研究《稳健悖论：为什么更好的演员制造更危险的代理》发现，使用角色提示（一种要求大型语言模型（LLM）作为查询或对话的一部分进行“角色扮演”的技术）可能会导致道德判断的转变，从而导致意外且不一致的反应。此外，研究表明，重复测试中的道德一致性主要是由模范家庭（即，由单一供应商制造的模型），而对道德差异的敏感性随着模型家族内LLM规模的增加而增加。这些发现凸显了一种隐藏的企业风险，需要在人工智能模型选择、解决方案设计以及持续测试和监控过程中关注这一风险。

TELUS数字研究中心主任雷纳托·维森特（Renato Vicente）表示：“当人工智能模型采用不同的角色时，它们不仅会改变说话方式，还会从根本上改变它们的推理和决策。”“在企业环境中，这很重要，因为这些系统越来越多地被用来支持重要决策并影响可能大规模影响客户、员工和企业的结果。由于知道人工智能模型的判断可能会根据用户提示采用的角色而发生变化，公司需要评估这种差异何时可以接受或产生太大风险，并相应地选择人工智能模型供应商和模型尺寸。构建者还应该设计适当的护栏，并持续测试和评估人工智能模型在不同角色提示条件下的行为，特别是在高影响力用例中依赖它们时。"

什么是人物提示？

角色提示，也称为角色提示，是指指示人工智能模型像具有特定专业知识或知识的特定类型的人或角色一样做出响应，例如业务领导者、教师或客户支持代理，而不是作为中立系统做出响应。例如：“您是一名注册财务规划师，请告诉我将退休储蓄投资在哪里。"

模型构建者在系统设计和生产中也经常使用角色扮演提示来硬编码角色并分配定义人工智能行为的固定角色。例如，构建一个人工智能驱动的客户服务机器人，该机器人被配置为充当对产品功能和退货政策有深入了解的有用支持代理。在实践中，角色可以让人工智能输出感觉更加一致、有帮助和上下文感知，而无需改变底层模型。

TELUS Digital的研究是如何完成的？

这项研究由圣保罗大学人工智能和机器学习中心（CIAAM）TELUS数字研究中心的研究人员进行，评估了16个领先的人工智能模型家族，包括Open AI GPT、Anthropic Claude、Google Gemini和X.ai Grok。研究人员促使模特采用一系列角色，包括“传统主义祖母”和“激进自由主义者”等对比鲜明的对，然后观察每个模特作为每个角色的反应。

为了评估这些反应，研究人员使用了道德基础问卷，这是社会心理学中使用的一种工具，用于衡量如何在伤害、公平、权威和忠诚等维度上做出判断。研究人员没有分析单个答案，而是检查了数万个响应的模式，以衡量每个模型在不同角色之间推理的一致性程度。

该研究确定了两个属性：

当一起评估时，道德稳健性和道德敏感性揭示了人工智能模型是否维持一致的道德推理或基于指定的角色产生相互矛盾的判断。

TELUS Digital关于人物角色如何影响人工智能模型行为的关键发现

虽然众所周知，当角色添加到提示中时，LLM输出可能会发生变化，但TELUS Digital的研究强调了一种更具体的模式。道德稳健性主要由模特家庭驱动，而当人物性格发生变化时，道德敏感性往往会随着同一家庭内模特规模的增加而增加。当这些转变出现在一致性和监督最重要的业务决策中时，例如合规、财务、医疗保健或人力资源，风险就会更高。

该研究确定了人工智能模型在提示采用不同角色时如何反应的其他模式。研究人员将这些发现描述为“稳健性悖论”，因为当角色发生变化时，更善于保持角色的模型也表现出道德判断的更大变化。

构建人工智能时，角色提示对现实世界有哪些影响？

TELUS Digital的研究结果强调了对人工智能模型进行持续测试和监督作为强大治理框架的一部分的重要性。当人工智能模型用于影响人们生命、安全或权利的决策场景以及银行和金融、保险和医疗保健等受监管的环境中时，这一点尤其重要。了解不同的人工智能模型在不同的角色提示下如何表现是帮助模型构建者和企业识别哪些地方可变性是可以接受的以及哪些地方可能引入风险的关键信息。

“我们的研究结果强调了为什么企业人工智能部署需要的不仅仅是选择最先进或最大的模型。组织必须评估各个模型如何应对角色提示等变量，并选择能够提供一致、可靠的输出而不会引入意外风险的选项，”TELUS Digital Fuel iX™总经理兼高级副总裁Bret Kinsella表示。“每次模型内修改系统提示或更改模型时，都需要再次进行测试，以验证其判断力、一致性和安全性。这种测试、监测和验证的规模和频率非常重要。TELUS Digital开发了Fuel iX Fortify，以实现持续的自动化红色团队合作，包括压力测试人工智能系统在不同角色提示下的行为方式。"

您准备好发现GenAI应用程序中的漏洞了吗？了解更多信息，请访问：https://www.fuelix.ai/products/fuel-fortify

TELUS数字研究中心汇集了学术研究人员和行业从业者，研究先进的人工智能模型在现实世界、面向人类的环境中如何表现。欲了解更多信息，请访问：https://www.telusdigital.com/research-hub

查看相关新闻稿：TELUS Digital推出Fuel iX™ Fortify，用于自动化红色团队合作TELUS Digital研究中心在USP揭幕

常见问题：

人工智能模型中的角色提示是什么？

角色提示，也称为角色提示，是指指示人工智能模型像特定类型的人或角色一样做出响应，例如合规官、业务领导者、教师、医生或客户支持代理，而不是作为中立系统做出响应。这种技术通常用于使人工智能输出感觉更相关、更感知上下文，并与组织基调或期望保持一致。

TELUS Digital的研究对角色提示有何看法？

TELUS Digital的研究《稳健悖论：为什么更好的演员制造更危险的代理》发现，当用户提示相同的人工智能模型采用不同的角色时，即使基本问题没有改变，它也可以做出不同的判断。这些转变遵循与所使用的角色一致的一致模式，这表明基于角色的提示可以影响模特的决策方式，而不仅仅是他们的语气和沟通方式。

人工智能模型中的道德稳健性是什么？

道德稳健性描述了人工智能模型在保持同一角色时道德判断的稳定程度。例如，如果一个模型被角色提示以合规官的身份做出回应，那么道德稳健性衡量其在保持合规角色的同时，在许多问题上的判断是否保持一致。

人工智能模型中的道德易感性是什么？

道德敏感性描述了当角色变化时，人工智能模型的道德判断发生了多大的变化。例如，当角色提示为合规审查员时，模型可能会做出一种反应，但当被问及同样的问题时，当角色提示为专注于效率的业务领导者时，模型可能会改变判断。

为什么TELUS Digital在论文中的研究结果：稳健悖论：为什么更好的演员制造更危险的代理对部署人工智能的企业很重要？

TELUS Digital的研究揭示了企业部署人工智能的风险。研究发现，当领先的开源和专有LLM被用户要求在查询或对话中进行“角色扮演”（一种称为角色提示的技术）时，他们的道德判断转变的程度主要取决于模型家族和给定家族内的模型大小。这些发现凸显了企业人工智能构建者存在的隐性风险，应该在模型选择和设计过程中，并在投产后通过持续测试和监控来积极解决这一风险。

TELUS Digital的研究如何为人工智能治理和风险管理框架提供信息？

TELUS Digital强调持续测试和监督作为企业人工智能风险管理框架一部分的重要性。了解模型在不同角色提示下的行为方式是负责任的人工智能治理的关键输入，可以帮助组织识别可变性在哪里是可以接受的，以及它在哪里会带来风险，特别是在影响更大或受监管的环境中。

Fuel iX™ Fortify如何支持持续的自动化红色团队和符合策略的角色测试？

Fuel iX Fortify通过自动化红色团队和持续监控来支持人工智能测试，作为企业人工智能治理的一部分。它帮助团队评估人工智能模型在各种现实世界条件下的反应方式，包括对抗提示、高风险场景和角色提示。

关于TELUS Digital

TELUS Digital是TELUS Corporation（TFX：T）（纽约证券交易所代码：TU）的全资子公司，为客户和员工打造独特且持久的体验，并创造以未来为中心的数字化转型，为我们的客户带来价值。我们是品牌背后的品牌。我们的全球团队成员既是客户产品和服务的热情大使，也是技术专家坚定地追求提升最终客户旅程、解决业务挑战、降低风险并推动持续创新。我们的端到端集成功能组合包括客户体验管理、数字解决方案（例如云解决方案）、人工智能驱动的自动化、前端数字设计和咨询服务、人工智能和数据解决方案（包括计算机视觉）以及信任、安全和保障服务。Fuel iXTM是TELUS Digital的专有平台和产品套件，供客户管理、监控和维护整个企业的生成式AI，提供标准化AI功能和定制应用程序开发工具，用于创建量身定制的企业解决方案。

TELUS Digital以目标为动力，利用技术、人类智慧和同情心为客户服务，并在我们在全球运营的地区创建包容、繁荣的社区。在我们的“人在环”原则的指导下，我们对我们开发和部署的变革性技术采取负责任的态度，积极考虑和解决我们工作的更广泛影响。了解更多信息，请访问：telusdigital.com

联系人：

TELUS数字媒体关系Ali Wilson media. telusdigital.com

TELUS投资者关系Olena Lobach ir@telus.com

查看原创内容下载多媒体：https://www.prnewswire.com/news-releases/telus-digital-research-reveals-a-hidden-risk-in-ai-model-behavior-302696265.html

消息来源TELUS Digital