前沿架构解码手记（七）：Qwen3.8 双 checkpoint 对比——稠密 27B vs 稀疏 Flash-Next（360GB 权重只为换 6B 激活）

0. 结论先行

这两个 checkpoint 不是同一模型的大小版本，而是两套架构与权重组织方式明显不同的权重：

• Qwen3.8-Flash-Next = Qwen4ExpForConditionalGeneration 架构的稀疏 MoE。主模型按模型卡口径 125B，每 token 激活约 6B；另有约 51B N-gram embedding 与 MTP 权重。仓库含 131 个 BF16 safetensors 分片，权重约 360 GB（335.276 GiB）。
• Qwen3.8-27B = Qwen3_5ForConditionalGeneration 架构的稠密模型。仓库含 18 个 BF16 safetensors 分片，权重约 55.6 GB（51.747 GiB）。

Flash-Next 的权重文件是 27B 的 6.48 倍，但它并不是每个 token 都计算全部权重——大量存储来自 512 个专家和 N-gram 查表参数。“Flash” 主要体现计算/访问效率设计，不代表下载文件更小。两者 tokenizer、视觉预处理、生成配置多项相同，但 config/索引/权重全不同，不能混用分片。

型号勘误更新（2026-08-28）：本系列 fa6（Gated DeltaNet）曾据当时快照判断”qwen3.8-27B 不存在、Qwen3.8 为 2.4T-A95B 这类 MoE”。本文基于 2026-08-28 的仓库直接扫描确认：Qwen3.8-27B 作为一个稠密 checkpoint 真实存在（55.6GB BF16，架构 Qwen3_5ForConditionalGeneration）。fa6 的判断在其当时快照下成立，本仓库现已可见 27B 稠密 checkpoint，特此校正。两仓库 revision 短 ID：Flash-Next 2741eec1、27B 1098534a。

1. 架构总览：同样词表/上下文，骨架相反

两者共享 248,320 词表（padding 后）与 262,144 原生上下文，但”堆容量”的方式完全相反：Flash-Next 走窄主干 + 专家/N-gram 查表，27B 走宽主干 + 单层稠密 FFN。

2. 精度与容量口径

两份仓库都是 BF16，不是 FP8。config 均声明 text_config.dtype = bfloat16（mamba_ssm_dtype: float32 仅 SSM 计算用，不代表权重 FP32）。头部扫描确认：Flash-Next 为 1,655 个 BF16 张量 + 3 个 I64 元数据；27B 为 1,199 个 BF16 张量。两仓库均无 quantization_config。独立量化仓库：Flash-Next-FP8 ≈ 185.5 GB、27B-FP8 ≈ 30.9 GB。

容量差异基本全部来自权重本身（非权重文件两者均约 23 MB，几乎相同）。

3. 架构差异（来自 config.json）

4. 权重索引里的组织方式

Flash-Next 的专家权重按专家打包成大张量：layers.0.mlp.experts.gate_up_proj 形状 [512,1280,2560]，第一维 512 对应专家，大张量再分布到 131 分片。每 token 只路由 10 个 routed + 1 shared，但 checkpoint 必须保存全部 512 个专家——计算量接近激活的少数专家，磁盘/可用存储仍接近全部专家。

N-gram 表是额外的容量轴：索引含 128 个 ple_embedding.ngram_embedding.shard_*.weight，形状 [2,500,012, 160]，合计 51.2B 参数 / 102.4 GB。官方说明强调这类参数主要靠局部 n-gram 查表获取、不进每 token 常规矩阵乘法预算，设计目标之一是更易放 Host Memory 异步预取；但下载时不能省略这些分片，能否高效 offload 仍取决于推理框架。

27B 用普通稠密 FFN：gate_proj/up_proj/down_proj 形状 [17408,5120]/[5120,17408]，每层一套，容量由 64 层 + 17,408 中间维度构成，无需保存数百专家副本。

5. 权重存储拆解（按张量名称归类）

6. 哪些文件相同 / 不能混用

SHA256 完全相同（可复用）：chat_template.jinja、configuration.json、generation_config.json、merges.txt、preprocessor_config.json、tokenizer.json、tokenizer_config.json、video_preprocessor_config.json、vocab.json——tokenizer、词表、图像/视频预处理、生成配置高度一致。

必须视为模型专属（不可交叉替换）：config.json、model.safetensors.index.json、全部 model-*.safetensors、README、LICENSE、.gitattributes。两仓库分片均用 model-00001-of-... 通用命名，但分片总数、索引映射、内部张量名完全不同——不能把一个仓库的第 1 分片与另一个仓库的索引配套。注意：视觉预处理文件相同 ≠ 视觉权重相同（语言隐藏维度 2,560 vs 5,120，连接层不同）。

7. 对推理部署的含义

仅按静态权重（不含运行时/激活/KV cache/框架开销/碎片）：27B ≈ 51.75 GiB（接近单卡/少卡部署）；Flash-Next ≈ 335.28 GiB（通常需多卡、多机、量化或 Host Memory offload）。实际所需设备内存不能等价于”激活 6B”——专家权重与 N-gram 表仍需在某处可访问。

• 分片数（131/18）≠ GPU 数 / TP 度：运行时切分由推理框架另定。
• 框架兼容：工作区 vllm-v0.21.0 有 qwen3_5 / qwen3_5_mtp 路径（贴近 27B），但未检索到 qwen4_exp / Flash-Next 专用实现——Flash-Next 须按模型卡最新 vLLM/SGLang recipe 实测，不能假设直接加载。
• 长上下文：两者原生 262,144 tokens，均可用 YaRN 扩至 1M；YaRN 不改静态权重大小，但显著增大 KV cache 与运行时内存。

8. 选型判断

下一篇预告：Flash-Next 的 512 专家 + N-gram 查表在推理框架里如何切分与 offload（EP / Host Memory 预取 / 量化），以及它和 DeepSeek V4、MiniMax M3 的”注意力改造”路线有何本质不同。