大模型越狱攻击从提示操控走向自动化与跨模态
越狱攻击的核心目标是削弱模型既有安全约束，使其输出或执行原本应被限制的内容。研究表明，攻击者正在利用语义变体、程序异常、跨模态信息差和自动优化等方式降低攻击成本。模型安全因此不能只依赖输入过滤，还需要覆盖输出校验、工具调用权限、运行环境和持续评估。
BRIEF / 内容提要
事件与背景
FreeBuf对大模型越狱研究综述进行梳理，显示攻击方式已从文本提示操控扩展到自动化搜索、黑盒推断和跨模态绕过，单一关键词过滤难以形成可靠防线。
ASSESSMENT / 风险研判
影响与判断
越狱技术的快速迭代表明，静态关键词和一次性安全测试难以长期有效。风险大小取决于模型越权后能接触什么：仅生成不当内容与能够读取数据、调用工具的智能体，后果完全不同。企业应把内容安全与系统权限分层控制，即使模型约束被绕过，也不能直接取得敏感数据或执行不可逆操作。
KEY POINTS / 关注重点
需要关注的信息
- 攻击面从单轮文本提示扩展到多轮对话、黑盒探测、自动化生成和跨模态输入。
- 不同模型和模态之间的安全策略存在差异，使部分攻击方式具备较高迁移能力。
- 仅依靠关键词或固定规则难以持续应对变体，需要组合检测、权限控制和人工复核。
VERIFICATION / 核验清单
建议优先确认
- 按文本、多轮、文件、图像和工具调用分别建立越狱样本，并记录不同版本的表现。
- 确认模型输出绕过安全策略后，敏感数据访问和外部操作仍受独立权限控制。
- 抽查提示、响应、策略命中和工具执行日志能否关联到同一用户与会话。
ACTION / 应对建议
企业可采取的措施
- 建立覆盖文本、图片、文件和工具调用的大模型红队测试集，并按版本持续复测。
- 对模型输出进入业务系统前增加结构校验、内容检测和高风险操作二次确认。
- 记录提示、模型响应和工具执行链路，便于发现绕过模式并追溯异常操作。