论文从 40 份技术报告中辨认出 73 项关于架构或训练的新主张。其中 19 项有控制其他条件、分别加入和移除该改动的实验。这样的对照有助于回答“究竟是哪一处修改带来了提升”。
只有 4 份报告明确提到多次训练,1 份同时披露数据混合比例、词元数和算力。统计反映读者凭报告能复现到什么程度,并没有给模型本身排序。缺少一组对照,也不足以断定作者提出的改动没有效果。
研究对参考代码的比对,同样有一条边界。论文观察到 Hugging Face 的实现从约 2024 年起更常用已有模型作为新模型的起点,这会提高公共代码中的重用比例。看到两个注意力模块代码相似,只能描述这份实现的关系,不能据此指认原团队的研究路径。
