1 整体方法非常干净简洁，不必要的花活全没有，当然创新点也不算多

2 预训练数据质量高，分数在同级别很高

3 实验拆得很细，团队应该收获有很多 know how

4 thinking mode 会损害 retrieval，长序列这块还有空间。大于 32K 的 Longer CoT 也还有空间（但需要预训练的长度也跟上）

5 对于小模型，online 蒸馏比 RL 好

6 因为用了 think-fusion-mode，其实有牺牲一定推理性能，算是交了对齐税

预训练

• 三阶段
  • 4K 长度，30T tokens
  • 4k 长度，5T 高质量推理 tokens
  • 拓展训练到 32k 长度（75%数据>16k，25%数据4k-16k）
    • 除了 0.6B 和 1.7B，其余都用 RoPE 外推到 128K
• 模型架构
  • GQA、Pre-RMS-Norm、QK-norm、128激活8无共享专家、用了自家的 global batch expert load balancing loss
• 评测指标

  • MMLU-Pro、数学、代码 比 dpsk-V3-base 明显分数高，其他多语言和通用评测强得不明显。数据质量高

    

后训练：两个 SFT 阶段，两个 RL 阶段

• Long-CoT Cold Start
  • 用 Qwen2.5-72B 过滤掉简单 query，用 QWQ-32B 生成 N samples
• Reasoning RL
  • 3995 query-verify pairs
  • Large BS + large N_rollout + off-policy + entropy controll（有 off-policy，不一定最优）
• Thinking mode fusion：让模型自己决定是否开启 think
  • 承上启下的作用
    • 第二阶段 RL，没有像 R1 那样用从 base model 开始
    • 而是继续基于第一阶段 Reasoning model 得到的 ckpt，做了一个 thinking mode fusion，然后直接上 General RL
  • 方法
    • 不管是不是 thinking mode，都有 <think> </think> 。只是 non-thinking-mode 的 thinking content 是空的
    • 默认 thinking model，支持 thinking budget force 可控
• General RL
  • Rule-based
  • Model-based
    • Qwen2.5-72B 基于 reference answer 打分
    • 或用一个 human preference data 训练的标量模型来打分
• Strong-to-Weak 蒸馏：先 off-policy 蒸馏，再 on-policy 蒸馏

  • On-policy 蒸馏对小模型比 RL 好，甚至提升 top@k

    

其他

• Ablation

  • Math & code 做完 reasoning RL 达到顶峰

  • Agent tool use 能力，general RL 也很关键

  • 通用语言能力，很需要 General RL

    

• 模型越大，32k 往上的衰减越小

  

  RULER 大海捞针上，Non-thinking mode 更高。long CoT 在 retrieval 任务上甚至掉点，是一个可提升的点

Thinking 32k 再往上应该还有空间