如何在较小模型规模下保留高质量的推理能力,并让方法可供研究者复用?
TinyR1:推理、安全与模型融合
围绕 32B 开源模型开展分支蒸馏、安全控制和分布感知模型融合,兼顾推理、指令遵循与安全表现。
Preview 通过数学、编程、科学分支蒸馏与模型融合迁移能力;TinyR1-32B 引入 Control Token 联合优化推理与安全;SCF-RKL 通过稀疏互补更新与逆 KL 约束控制融合干扰。
TinyR1 获国家自然科学基金委员会报道,曾进入 Hugging Face Trending Top 5。Preview 的 32B 参数约为 DeepSeek-R1 671B 的 5%,AIME 2024 得分为 78.1,对照 DeepSeek-R1 的 79.8。
结果与评测
TinyR1-32B-Preview · Branch-Merge 蒸馏
相对 DeepSeek-R1-Distill-Qwen-32B,数学、编程、科学得分分别提升 5.5、4.4、2.9 个点。表中为论文 Table 1 的 pass@1;LiveCodeBench 使用 24.08–25.02 子集。
| 模型 | AIME 2024 ↑ | LiveCodeBench ↑ | GPQA-Diamond ↑ |
|---|---|---|---|
| DeepSeek-R1-Distill-Qwen-32B | 72.6 | 57.2 | 62.1 |
| DeepSeek-R1-Distill-Llama-70B | 70.0 | 57.5 | 65.2 |
| DeepSeek-R1 (671B) | 79.8 | 65.9 | 71.5 |
| TinyR1-32B-Preview | 78.1 | 61.6 | 65.0 |
TinyR1-32B-Preview · Table 1 / Figure 1 ↗

TinyR1-32B · 推理、指令遵循与安全
模型卡采用 20K 高质量样本与三轮 SFT,通过 Control Token 切换任务模式。以下为 TinyR1-32B 模型卡评测;Constructive Safety 为 HarmBench、JBB-Behaviors、S-Eval_attack、wildjailbreak 的平均分。
| 模型 | 参数 | AIME24 ↑ | AIME25 ↑ | GPQA-Diamond ↑ | LCB v5 ↑ | IFEval Prompt Strict ↑ | Constructive Safety OpenSource ↑ |
|---|---|---|---|---|---|---|---|
| DeepSeek-R1-0528 | 671B | 91.4 | 87.5 | 81.0 | 73.3 | 80.9 | 73.0 |
| Qwen3-235B-A22B-Thinking-2507 | 235B | — | 92.3 | 81.1 | 74.1 | 87.7 | 65.5 |
| Qwen3-32B | 32B | 81.4 | 72.9 | 68.4 | 65.7 | 85.0 | 64.5 |
| TinyR1-32B | 32B | 90.9 | 82.7 | 69.4 | 70.4 | 89.2 | 89.5 |
SCF-RKL · 分布感知模型融合
在 TinyR1-Preview-Math-32B 与 TinyR1-Preview-Science-32B 的融合实验中,SCF-RKL 的十项基准平均分为 65.33。表列论文 Table 1 的部分单项分数与原表十项平均分;图示为 Figure 9 中推理模型与安全模型的另一组融合实验。
| 方法 / 模型 | AIME24 ↑ | GPQA ↑ | LCB ↑ | 十项平均 ↑ |
|---|---|---|---|---|
| Math-32B | 74.58 | 67.99 | 61.65 | 64.47 |
| Science-32B | 78.02 | 68.78 | 61.47 | 63.54 |
| Task Arithmetic | 77.50 | 68.18 | 57.80 | 57.90 |
| DARE Task Arithmetic | 77.50 | 68.18 | 55.91 | 57.80 |
| TIES Merging | 74.38 | 67.08 | 50.18 | 55.55 |
| DARE TIES Merging | 76.15 | 67.08 | 56.90 | 58.22 |
| SCE | 74.38 | 67.08 | 49.91 | 55.47 |
| SCF-RKL | 76.98 | 69.19 | 62.46 | 65.33 |
Beyond Parameter Arithmetic · Table 1 / Figure 9 ↗
