系列:每日AI热点

每日AI热点 · 2026-09-02:vLLM 自适应投机预算零成本提速 55–65%;RT-X 坐实机器人数据缩放定律

★ 今日最值得关注

vLLM 0.28 的自适应投机 token 预算:纯调度改动,零模型成本,DSpark TTFT 改善 55–65%。

这是本期最该进你待办的一条——因为它不花一分钱模型成本,只改调度逻辑,就能把 DSpark 的 TTFT 砍掉一半以上。

三层事实:

  1. 机制:不再给每步投机写死一个预算,而是按需分配——简单前缀少投、难前缀多投。
  2. 收益:DSpark TTFT 改善 55–65%,且不引入任何额外模型权重、不增加显存。
  3. 对比:在 vLLM 0.28 的 EAGLE / MTP 之外,这条”自适应预算”路线是三条投机解码路线里唯一零增量成本的一条。

可执行结论:如果你已经在跑 DSpark,升级 vLLM 0.28 后把自适应预算打开,TTFT 这层几乎免费拿到 55%+ 的改善;不用动模型、不用动硬件。

值得强调:投机解码的红利正在从”文本生成”外溢到更广的自回归场景(昨天的 Step-Audio RTF 已是信号)。自适应预算把”要不要投、投多少”交给运行时自己判断,是这条路线走向产品化的关键一步——它把加速从”调参艺术”变成了”默认行为”。

二、vLLM & SGLang 社区跟踪

版本状态:vLLM v0.28.0(8/26);SGLang v0.5.18(8/22)。近 72h 无新版本,但社区对两个引擎挖出了可落地的细节。

vLLM v0.28.0

新特性:

破坏性变更 / 默认值变更:max_num_batched_tokens 8192 → 16384,单卡 / 小显存配置可能 OOM,升级前务必重测容量。

SGLang v0.5.18

性能:

原理:自适应投机预算为什么”零成本”

把投机解码的预算从”定值”改成”自适应”,省掉的是每次都要为最坏情况预留的冗余。

固定预算的代价:简单前缀(“你好""请继续”)也按难前缀的预算投,白白浪费草稿算力;难前缀又可能投不够,命中率上不去。自适应预算按实际难度动态分配,等于把”投机效率”交给运行时在线优化——这也是为什么它能做到零模型成本、只靠调度改进就拿到 55–65% 的 TTFT 改善。

我的判断:这条路线对”首 token 延迟敏感、但请求难度分布很不均”的线上场景(Agent、流式补全)价值最大。它不要求你换模型、不要求你加卡,是性价比最高的那一档加速。

常驻专题

PD 分离:Dynamo 1.0 / llm-d / Mooncake / NIXL 持续演进;SGLang 侧 DCP 解码上下文并行、FlashInfer all-to-all MoE 路由、DeepSeek-V4 FlashMLA 稀疏预填充默认开。

架构演进:投机解码三路线(EAGLE / MTP / 自适应预算,vLLM 自适应预算 DSpark TTFT 改善 55–65%)、稀疏 MLA、FP8/INT4/KV 量化、多模态。

纯 PyTorch vs transformers:本周期无”脱离 transformers 自研栈”的新 PR,依赖解耦趋势延续(vLLM 把 Transformers 升 5.15.0 + bitsandbytes 外置)。

Step 适配:

三、AI 论文与产业热点

今日重点(1 句)

Open X-Embodiment(RT-X)用 22 种机器人、100 万+ episodes 的跨本体数据 + 本体 embedding 条件化,证明机器人也服从「数据缩放定律」——这是「具身智能引擎」投资主线的技术底座。

论文核心(Open X-Embodiment / RT-X)

算子讲解:专家并行 EP

性能优化:自适应早退 Early-exit

产业热点(具身智能公司 / 产业链速递)

四、一句话结论

vLLM 0.28 把稀疏注意力端到端打通、并用一条纯调度的自适应投机预算把 DSpark TTFT 免费砍掉 55–65%,是本期最该落地的加速;论文侧 RT-X 用 22 种机器人坐实跨本体数据缩放定律,把「具身智能引擎」从主题叙事拉到了有技术底座的投资主线——而宇树回撤 ~50%、智元冲港股、地平线量产上车,正在把这条主线逐个标上价格。


📬 想持续收到这类每日追踪?留邮箱 / 加我列表就好 👉 1023628035@qq.com

觉得有用?欢迎点赞、收藏,或请作者喝咖啡 ☕️

支付宝收款码

支付宝

微信收款码

微信

💬 留言

评论由 Giscus 驱动(基于 GitHub Discussions)。 当前仓库 NaphJohn/LLM-blog 尚未启用 Discussions:请在 GitHub 仓库 Settings → General → Features 勾选 Discussions 后刷新本页,评论区即自动显示。