Research / Project detail

大模型安全与可信生成

动态攻防、闭环训练与检测—代答分离的研究和工程实践;相关项目获北京市科学技术进步二等奖。

AlignmentSafetyTrustworthy AI
问题

面对持续变化的越狱攻击、风险内容和幻觉问题,如何兼顾防护效果与正常任务体验?

方法

攻击生成 → 自动评测 → 安全训练 → 在线防护 → 经验回流。相关研究包括 TriPlay-RL 与 Magic-Token 安全控制。

成果

形成 TriPlay-RL、Magic Token、检测—代答分离和可信生成等技术成果;相关项目获北京市科学技术进步二等奖。成果《大模型安全关键技术及应用》于 2025 年 6 月 19 日通过 CAAI 科技成果鉴定。

大模型安全与可信生成框架
大模型安全与可信生成框架
在线防护链路
在线防护链路
Related publications

关联论文