Research / Project detail

TinyR1:推理、安全与模型融合

围绕 32B 开源模型开展分支蒸馏、安全控制和分布感知模型融合,兼顾推理、指令遵循与安全表现。

DistillationReasoningOpen research
问题

如何在较小模型规模下保留高质量的推理能力,并让方法可供研究者复用?

方法

Preview 通过数学、编程、科学分支蒸馏与模型融合迁移能力;TinyR1-32B 引入 Control Token 联合优化推理与安全;SCF-RKL 通过稀疏互补更新与逆 KL 约束控制融合干扰。

成果

TinyR1 获国家自然科学基金委员会报道,曾进入 Hugging Face Trending Top 5。Preview 的 32B 参数约为 DeepSeek-R1 671B 的 5%,AIME 2024 得分为 78.1,对照 DeepSeek-R1 的 79.8。

Results & evaluation

结果与评测

TinyR1-32B-Preview · Branch-Merge 蒸馏

相对 DeepSeek-R1-Distill-Qwen-32B,数学、编程、科学得分分别提升 5.5、4.4、2.9 个点。表中为论文 Table 1 的 pass@1;LiveCodeBench 使用 24.08–25.02 子集。

TinyR1-32B-Preview · Branch-Merge 蒸馏
模型AIME 2024 ↑LiveCodeBench ↑GPQA-Diamond ↑
DeepSeek-R1-Distill-Qwen-32B72.657.262.1
DeepSeek-R1-Distill-Llama-70B70.057.565.2
DeepSeek-R1 (671B)79.865.971.5
TinyR1-32B-Preview78.161.665.0

TinyR1-32B-Preview · Table 1 / Figure 1 ↗

Branch-Merge 蒸馏流程与数学、编程、科学评测结果
Branch-Merge 蒸馏流程与数学、编程、科学评测结果 · TinyR1-32B-Preview · Figure 1 ↗

TinyR1-32B · 推理、指令遵循与安全

模型卡采用 20K 高质量样本与三轮 SFT,通过 Control Token 切换任务模式。以下为 TinyR1-32B 模型卡评测;Constructive Safety 为 HarmBench、JBB-Behaviors、S-Eval_attack、wildjailbreak 的平均分。

TinyR1-32B · 推理、指令遵循与安全
模型参数AIME24 ↑AIME25 ↑GPQA-Diamond ↑LCB v5 ↑IFEval Prompt Strict ↑Constructive Safety OpenSource ↑
DeepSeek-R1-0528671B91.487.581.073.380.973.0
Qwen3-235B-A22B-Thinking-2507235B—92.381.174.187.765.5
Qwen3-32B32B81.472.968.465.785.064.5
TinyR1-32B32B90.982.769.470.489.289.5

TinyR1-32B · Hugging Face model card ↗

SCF-RKL · 分布感知模型融合

在 TinyR1-Preview-Math-32B 与 TinyR1-Preview-Science-32B 的融合实验中,SCF-RKL 的十项基准平均分为 65.33。表列论文 Table 1 的部分单项分数与原表十项平均分;图示为 Figure 9 中推理模型与安全模型的另一组融合实验。

SCF-RKL · 分布感知模型融合
方法 / 模型AIME24 ↑GPQA ↑LCB ↑十项平均 ↑
Math-32B74.5867.9961.6564.47
Science-32B78.0268.7861.4763.54
Task Arithmetic77.5068.1857.8057.90
DARE Task Arithmetic77.5068.1855.9157.80
TIES Merging74.3867.0850.1855.55
DARE TIES Merging76.1567.0856.9058.22
SCE74.3867.0849.9155.47
SCF-RKL76.9869.1962.4665.33

Beyond Parameter Arithmetic · Table 1 / Figure 9 ↗

SCF-RKL:推理模型、安全模型与融合模型的跨基准比较
SCF-RKL:推理模型、安全模型与融合模型的跨基准比较 · Beyond Parameter Arithmetic · Figure 9 ↗
Related publications

关联论文