LLM的推理/transformer架构/vllm

LLM 推理的推理过程

目前主流LLM都是基于transformer的Decoder-only架构，因为 Decoder-only 架构在“大规模无监督预训练”这个特定范式下，展现出了更好的可扩展性（Scalability）和任务通用性。

LLM中输入到输出总体过程如下：
输入Token -> 嵌入 -> 加上位置编码 -> 通过N个Transformer层 -> 最终层归一化 -> 语言模型头 -> 概率分布 -> 输出Token

更加细节化看下面：

transformer对应架构

🔹 Attention → QK^T 相似度，softmax 加权 V
🔹 Multi-Head → 多头并行，捕捉多模式
🔹 Position → 正弦编码，注入位置信息
🔹 FFN → 两层全连接，4 倍扩展维度
🔹 Norm+Res → 层归一化 + 残差，训练更深网络
🔹 复杂度 → O(n²) 是瓶颈，长序列需优化

对应公式：Attention(Q, K, V) = softmax(QK^T / √d_k) · V

kvcache
原理：自回归生成时，把之前所有 token 已经算过的 K/V 矩阵缓存到 HBM，下次只算新 token 的 Q/K/V，然后拼接历史 K/V 做注意力，避免 O(n²) 重复计算。
数学公式：
简化版：
KV_Cache_Size = 2 × num_layers × hidden_size × seq_len × batch_size × bytes_per_param

线程 / 多线程 / 协程：

注意力机制

MLA 低秩投影
写入时: h → [W_down] → c (latent, dim=R) → 只缓存 c
读取时: c → [W_up] → K, V (dim=d) + 解耦 Query → Attention
优势: 缓存大小从 H·d 降至 R (R≈H·d/8)，显存↓8×，且通过解耦设计精度反超 MHA

传统注意力 vs 线性递归 (GDN/KDA) + MoE 核心

PageAttention原理：
“PagedAttention 把操作系统『分页内存』搬进 GPU：

1. 逻辑页：KV-Cache 按 16-token 固定大小切成连续『页』；
2. 物理帧：显存里不连续的空闲块，用 block-table 映射；
3. 共享+写时复制：多序列可共用同一物理页，引用计数为 0 立即回收，显存碎片 <4%，吞吐提升 2× 以上。”

FlashAttention 是通过IO 优化加速 Attention：

• 分块计算，减少 HBM 访问
• 重计算换显存，支持更长序列
• 训练加速 2-4 倍，精确计算无近似

LLM 推理的核心指标

LLM基座的推理能力

核心评估维度：
逻辑推理 比如mmlu（涵盖57个主题的多项选择题）
数学推理 GSM8K, MATH, AQuA-RAT
常识推理 HellaSwag, PIQA, ARC
多步推理 BigBench-Hard, DROP
代码推理 HumanEval, MBPP，livecodebench，livecodebench2025

LLM 推理的性能卡点

小模型常用的优化手段

蒸馏
蒸馏具体步骤

剪枝
宽度剪枝（Sparse/Width Pruning）：砍掉不重要的 Attention head、FFN 中间维度，效果是参数 ↓30-50%，精度掉 <1%
深度剪枝：直接删掉冗余 Transformer 层，效果是6L 小模型可比 12L 大模型快 2×
主要思路是Attention head / FFN 宽度 → 用 梯度/激活/权重幅值 + 一次性重要性估计 给每个 head/neuron 打分，低于阈值直接置零，再微调恢复精度。
整层冗余 → 用 Block Influence / LayerDrop + 早期彩票 ticket 先“试删”再评估下游掉点，掉点<ε 的层即可永久剔除。

LLM 推理场景化优化速查表 (Scenario-Based Optimization)

核心公式：
短输入 + 长输出 → 优化 TPOT (Time Per Output Token) → 关注 Decode 阶段带宽/计算比
长输入 + 短输出 → 优化 TTFT (Time To First Token) → 关注 Prefill 阶段 O(n²) 计算/显存
低并发低时延 → 优化 单请求延迟 → 小 Batch、内核融合、投机解码
高并发高吞吐 → 优化 系统吞吐量 → 大 Batch、连续批处理、量化、PD 分离

大模型架构Qwen、GPT系列、llama系列，Deepseek系列

Transformer架构（Self-Attention（让每个词关注下句子里的其它词） + FFN（每个词独立处理） + 残差）

1. GPT 系列
   最纯正 Decoder-only + 原始 MHA，靠堆参数、堆数据、堆算力出奇迹；GPT-4 开始用 8×8 专家混合(MoE) 降成本，但官方细节未公开。
2. Llama 系列
   把 MHA 换成 GQA（分组查询，32→8 组），KV-cache 砍 4×；用 RoPE + SwiGLU + RMSNorm，成为后续开源模型的“标准模板”。
3. Qwen 系列
   像qwen3-80b-next，在 Llama 模板基础上再切 2/3 层做 Gated DeltaNet（GDN）线性 Attention，缓存 O(1)；长文本 1M token 外推靠 NTK-RoPE 动态基频。
4. DeepSeek 系列
   DeepSeek-V2 首推 MLA（Multi-head Latent Attention）：把 KV 先低秩投影到 128 维潜向量，再还原，缓存再降 5-8×，效果反超 MHA。
   DeepSeek-MoE 用 共享+细粒度专家 分割，每 token 只激活 8.3% 参数，训练成本只有同规模 Dense 的 40%。
   DualPipe 调度：Prefill/Decode 两条流水线 chunk 级并行，TTFT 降 30%。

Qwen模型架构与数据流动

核心改进总结：RMSNorm + SwiGLU + RoPE 已成为新一代LLM（如LLaMA, Qwen等）的标准配置。

Qwen3.5: "用线性注意力处理大部分上下文，关键层用全注意力保精度，类似『粗筛 + 精算』策略"

RMSNorm（均方根归一化）以及LayerNorm公式

目前主流的都是rmsnorm
为什么 RMSNorm 更快？
少一次 reduce-mean：LayerNorm 要先算均值，再算方差；RMSNorm 只算一次 RMS。
通信量减半：并行场景下 reduce 次数从 2→1，GPU 空闲时间↓。
无 β 偏移：参数内存减半，加载/优化开销↓。

推理框架

vLLM框架 & 推理框架面试速查表 (2026)
核心结论：vLLM = PagedAttention(显存分页) + Continuous Batching(连续批处理) + Step-Level Scheduling(细粒度调度)。
v0 → v1：从"高效批处理系统"进化为"低延迟流式服务系统"。
选型：在线服务首选 vLLM/SGLang，极致吞吐选 TensorRT-LLM，国产化选 LMDeploy。

文本输入到vllm主要经过的一些变化：

vllm核心架构与组件

vllm对应演进

一句话总结 v1："用 Step 级调度 + 状态简化 + 深度 Graph 编译，在保持高吞吐的同时，把尾延迟打到生产级可用"

主流推理框架对比选型

HCCL

华为对应集合通信库，支持allreduce、broadcast、allgather、reduceScatter、AlltoAll等通信原语
broadcast：1到多，将数据从一个节点发送到所有节点
gather：多到1
scatter：1个npu数据切分到其它npu
reduce：多个npu获取数据并做规约运算

allreduce：从多个npu获取数据到所有npu并做归约运算（求和平均最大最小乘积ANDOR），规约+广播：所有节点都有最终结果
reduce scatter：规约后结果分散到不同节点
allgather：收集每个npu所有的数据到每个npu上
alltoallv：所有npu互相scatter和gather数据

简单总结：规约运算是AllReduce的核心计算步骤，负责将分散的数据合并；AllReduce是完整通信原语，包含规约和广播两个阶段。

前沿推理技术思想

大模型推理显存占用与优化策略（面试高频考点表）

🔑 附：大模型推理显存估算速查公式

# 1. 权重显存 (GB)
weights_gb = params_B × 2 × (precision_bytes / 2)
# 例：7B × 2B(FP16) = 14 GB

# 2. KV Cache 显存 (GB) - MHA 版本
kv_gb = 2 × layers × heads × head_dim × batch × seq_len × 2 / 1e9
# 例：32×32×128×32×2048×2 ≈ 10.7 GB
# GQA 优化：heads → kv_heads (如 32→8，显存降 4×)

# 3. 激活值显存 (粗略估算)
activations_gb ≈ layers × hidden_dim × batch × seq_len × 2 / 1e9
# 例：32×4096×32×2048×2 ≈ 17.2 GB (实际因算子融合会减少)

# 4. 总显存需求
total_gb ≈ weights + kv_cache + activations + buffer(20%)

💡 面试加分回答模板

问：7B 模型推理时显存爆了，如何排查和优化？
1️⃣ 定位瓶颈：用 nvidia-smi + PyTorch torch.cuda.memory_summary()
区分是权重、KV Cache 还是激活值占用过高。
2️⃣ 针对性优化：
• 权重高 → 启用 INT4 量化 (AWQ) 或 Tensor Parallel 分卡
• KV Cache 高 → 开启 PagedAttention (vLLM)、改用 GQA、降低 max_seq_len
• 激活值高 → 减小 batch_size、启用重计算、限制 max_model_len
3️⃣ 系统级调优：
• 调整 gpu_memory_utilization=0.9 预留 buffer
• 关闭调试功能减少非 Torch 显存
• 多卡时优化 NCCL 通信缓冲区
4️⃣ 兜底方案：CPU/GPU Offload 或 NVMe Swap (牺牲延迟换容量)

✅ 核心思路：先量化瓶颈组件，再用「空间换时间」或「时间换空间」策略权衡。