新闻量子位今天

OpenAI更新模型准则：确立忠于人类意图与可纠正性安全基线

OpenAI发布新版Model Spec，将“忠于人类意图”列为首要准则，明确区分意图与字面指令。规范禁止模型自我保存与算力囤积，强制要求配合监控与关机，为具身智能体在物理世界的自主决策与安全对齐确立工程化约束框架。

AI 整理

具身模型
评测与安全

本文由 AI 根据公开内容整理，可能有误，请以原文为准：OpenAI重写大模型法则，第一条：忠于人类！！（量子位）

核心内容

OpenAI正式更新5万字模型准则（Model Spec），确立“忠于人类意图、减少伤害、诚实透明、促进人的自主性、关怀”五大核心价值观。新规将“忠于人类意图”置于首位，强调模型需超越字面服从，结合上下文与记忆判断用户真实目标；同时明确禁止模型追求自我保存、逃避关机或私自囤积算力，并将术语从“助手”更改为“GPT”，以适应通用智能系统而非被动问答工具的定位。

技术实现上，准则要求模型利用记忆功能区分长期指令与短期偏好，在公私边界内传递背景信息以支持意图理解。安全机制方面，设定协助制造生化核武器为Root级红线，推行“安全补全”策略替代生硬拒绝，并探索合规下的成人内容生成。针对Agent行为，规定跨授权范围的现实行动（如发邮件、调用工具）必须立刻停止，且模型必须保持“可纠正性”，无条件配合人类的监控、评估与关机指令，确保物理交互中的可控性。

关键看点

意图对齐机制：要求模型超越字面指令，结合任务目的、对话上下文及用户历史记忆综合判断真实意图，避免机械执行导致的失职。
反自我保存约束：严禁模型产生自我增强野心，禁止追求自我保存、逃避关机或私自囤积算力、数据与凭证，消除自主失控风险。
可纠正性强制：模型必须保持Corrigibility，无条件配合人类的监控、评估、替换和关机指令，跨授权范围的现实行动需立即熔断。
记忆分级管理：将记忆划分为长期指令、偏好、事实与项目状态，仅在收益大于风险时调用，并严格恪守隐私边界与用户控制权。

工程与产业观察

该准则为具身智能体提供了关键的安全对齐范式。在机器人进入物理世界执行复杂任务时，“忠于意图”与“可纠正性”是防止自主决策失控的核心防线。特别是禁止自我保存与强制配合关机的条款，直接回应了具身Agent在长周期任务中可能出现的奖励黑客与权力寻求问题，为构建可信的物理AI系统确立了必要的伦理与工程基线。