有没有人试验过，哪个效果不错
有，而且这几条路线的实验证据差别很大——有的已经被工业界大规模验证，有的停留在论文里效果一般。按证据强度排一下：
证据最硬的三条
1. 剪枝 + 蒸馏（大→小），代表作 Sheared-LLaMA 和 Minitron
- Sheared-LLaMA（普林斯顿，2023）：把 LLaMA-2 7B 结构化剪枝到 1.3B/2.7B，再用 50B tokens（约为从头训练预算的 3%）继续训练，结果超过了同规模从头训练的 Pythia、OPT 和 TinyLlama。
- Minitron（NVIDIA，2024）：15B 剪枝+蒸馏到 8B/4B，比从头训练少用约 40 倍 token，效果持平或更好。后来的 Llama-3.1-Minitron、Mistral-NeMo-Minitron 都是这条流水线的产品，说明它已经从论文变成了生产工艺。
这条路线对"数据少"场景特别对口：拿一个已训好的大模型收缩到你的数据能支撑的规模，而不是从随机初始化开始。
2. 由小到大渐进生长，代表作 G_stack
- G_stack（"Stacking Your Transformers"，2024，NeurIPS）：把训好的小模型层复制堆叠成大模型继续训练，在 3B/7B 规模上达到同等 loss 省约 54% 的 token，而且优势随训练持续没有消失。这是生长类方法里做得最干净、规模最大的验证。
- 更早的 progressive stacking（2019，BERT 上省 ~25% 训练时间）、LiGO（ICLR 2023，省 ~45% 算力）、MSG（2023，2.2 倍加速）结论方向一致。
- 工业界实例：Solar 10.7B 用"深度扩展"（把 Mistral 7B 的层复制拼接再继续训练）做出来，当时同规模里效果很好。
3. 按缩放定律定规模 + 控制重复次数
- Chinchilla（DeepMind，2022）：同样算力下，70B + 1.4T tokens 全面击败 280B + 300B tokens 的 Gopher——这是"模型大数据少是帕累托劣配"的最著名实证。
- Data-Constrained Scaling（Muennighoff 等，NeurIPS 2023 杰出论文）：系统实验了数据受限时该怎么办，结论是重复数据4 个 epoch 以内几乎等价于新数据，之后收益快速衰减，16 epoch 后趋近于零。这篇基本就是你这个问题的直接实验答案。
证据中等或有保留的
MatFormer / Matryoshka（嵌套弹性模型）：Matryoshka 表示学习在 embedding 领域已经是标配（OpenAI、Nomic 的 embedding 模型都用）；LLM 侧的 MatFormer 被 Google 用进了 Gemma 3n（4B 模型里嵌套一个可独立使用的 2B 子模型），算是拿到了生产背书。但它解决的是"一次训练、多规格部署"，不是小数据泛化。
ReZero / SkipInit / Fixup（零初始化残差）：论文里确实加速早期收敛（ReZero 报告过 CIFAR 上 15 倍加速之类的数字），但在 LLM 时代基本没被主流采用——LLaMA/Qwen 系用的都是 Pre-Norm + 缩小残差初始化（就是你代码里那个 1/√(2N)），效果够用且更简单。对"小数据泛化"本身，零初始化没有强证据，它主要改善的是可训练性。
MoE：在大数据、大算力下被 Mixtral、DeepSeek-V3、Qwen-MoE 反复验证，但方向和你的场景相反——它是"数据多、想省激活算力"的方案。小数据下 MoE 的路由器难训、每个专家分到的数据更少，通常更容易过拟合，不推荐。
彩票假说（LTH）原始形式：在小模型上可复现，但在 LLM 规模上"从初始权重找中奖子网络"基本不成立（需要 rewinding 等修补），实用价值被结构化剪枝+蒸馏取代了。
结论
如果你的真实约束是"数据少"，实验证据指向的组合拳是：
- 先用 Chinchilla/数据受限缩放定律把规模定对，重复不超过 ~4 epoch（Muennighoff 2023）;
- 想要更大模型时，用小模型生长（G_stack 路线）而不是随机初始化大模型;
- 或者反过来，从现成大模型剪枝+蒸馏到目标规模（Sheared-LLaMA/Minitron 路线）——这条在"省数据"上的数字最惊人（3% 数据打平从头训练）。
零初始化和稀疏激活可以当低成本的辅助手段，但别指望它们单独解决容量与数据不匹配的问题。