问题
面对持续变化的越狱攻击、风险内容和幻觉问题,如何兼顾防护效果与正常任务体验?
动态攻防、闭环训练与检测—代答分离的研究和工程实践;相关项目获北京市科学技术进步二等奖。
面对持续变化的越狱攻击、风险内容和幻觉问题,如何兼顾防护效果与正常任务体验?
攻击生成 → 自动评测 → 安全训练 → 在线防护 → 经验回流。相关研究包括 TriPlay-RL 与 Magic-Token 安全控制。
形成 TriPlay-RL、Magic Token、检测—代答分离和可信生成等技术成果;相关项目获北京市科学技术进步二等奖。成果《大模型安全关键技术及应用》于 2025 年 6 月 19 日通过 CAAI 科技成果鉴定。