大模型优化方式包含以下内容

量化

目的是对模型压缩与加速。量化过程包含缩放（Scale） 和有时需要的零点（Zero Point），以将浮点数范围映射到整数范围。

# 量化（确定性数值映射）
scale = max_value / 127
quantized_value = round(original_value / scale)  # 确定性转换

# Dropout（随机性掩码）
mask = random_binary_matrix(keep_probability)    # 随机生成
output = input * mask                            # 随机置零

量化是部署优化技术，用于模型压缩和加速; Dropout是训练正则化技术，用于提高泛化能力。

框架测优化

推理系统设计：比如将LLM推理解耦为Prefill（预填充）、Decode（解码）和Caching（缓存）三个可独立扩展的资源池；

比如model和后处理异步化，来提升吞吐；
针对embedding模型只进行全量推理的特点，跳过kv cache相关tensor等的计算；
针对离线大批量处理场景，优化非必要cpu操作耗时，如array转list、list转tuple等；

算子测下发优化(硬件处理角度)

1. 通信-通信-计算 三流并发
   现有的多机多卡分布式moe推理场景下，激活集合通信，门控权重与路由专家、共享专家计算等步骤是顺序下发，导致集群利用率低，推理时延大。

2. 微批处理流水线：重叠计算与通信

3. MLA优化：算子融合、原生NZ格式KV缓存、MTP感知平铺等
   • nz格式：一种专为注意力机制优化的稀疏块状存储格式，用于存储Key和Value缓存。NZ格式将KV缓存组织为更小的、对齐的数据块（Blocks）。这种格式与NPU计算单元（如3D Cube）处理数据的模式高度匹配。
     计算注意力时，NPU可以直接从这种格式的缓存中高效地加载数据块进行计算，无需额外的格式转换（Transpose/Reshape）开销。
   • MTP感知平铺：MTP（Multi-Thread Parallelism）指昇腾NPU内部的多线程并行架构。具体分以下三步：算法会动态分析MatMul操作的维度（M, N, K）；此优化指根据NPU硬件线程的特性来智能地切分（Tiling）计算任务；确保切分后的子任务大小均匀。
4. bert类模型参数量非常小，当计算量较小时，算子存在下发瓶颈，因此针对gelu算子、add_layer_norm算子做下发优化，针对add_layer_norm做二维输入的支持；
5. 算子编译优化prune hidden states提前至attention算子之前，减少最后一层计算量；
   Details

当前最后一层流程： norm -> qkv_proj -> rope -> attention -> o_proj -> norm -> gate_up_proj -> gelu -> down_proj -> _prune_hidden_states 将prune前移到attention之前： norm -> qkv_proj -> rope -> _prune_hidden_states -> attention -> o_proj -> norm -> gate_up_proj -> gelu -> down_proj

算子融合

-融合算子fusedDispatch和fusedCombine （新的AI矢量绕过延迟敏感的SDMA路径，替换All-to-All，改善延迟）

显存优化

压缩kvcache

1. kvcache低精度方式
   对 KV—Cache 进行 Int8量化，从而将 KV-Cache 的大小缩小30%-40%。
2. 缓存优化- lru缓存
   已有的样本字符不需要再计算，直接返回，比如vllm/entrypoints/chat_utils.py中 _detect_content_format中增加@lru_cache(maxsize=128)
3. - page attention
   原理：通过逻辑 block 与物理 block 的映射，实现内存上的非连续存储（映射关系由 block table 维护）。

与传统的注意力算法不同，PagedAttention 允许在不连续的内存空间中存储连续的键和值。具体来说，PagedAttention 将每个序列的 KV 缓存划分为多个块，每个块包含固定数量的令牌的键和值。在注意力计算过程中，PagedAttention 内核会有效地识别和获取这些块。由于块不需要在内存中是连续的，因此我们可以像在操作系统的虚拟内存中一样以更灵活的方式管理键和值：可以将块视为页面，将 token 视为字节，将序列视为进程。序列的连续逻辑块通过块表映射到非连续的物理块。随着新 token 的生成，物理区块会按需分配。

创新点：
KV Cache 被切分为固定大小的 block；通过逻辑 block 与物理 block 的映射，实现非连续存储（映射关系由 block table 维护）；PagedAttention 支持按需分配和回收 block，并允许多个序列共享 block。PagedAttention 使用了 copy-on-write（CoW）机制，允许多个生成样本共享大部分输入 prompt 的 KV Cache

（Reference Counting）引用计数： 跟踪内存块的共享状态，实现安全回收。
（Block-level Copy-on-Write）优化块复制操作：只有在真正要写入（修改）的时候，才会进行复制操作，这样不会污染数据
4. KV-Cache 共用
比如MQA、GQA

flash attention

原理：针对全局内存和共享存储的 I/O 速 度的不同，尽可能的避免 HBM 中读取或写入注意力矩阵。FlashAttention 目标是尽可能高效地使 用 SRAM 来加快计算速度，避免从全局内存中读取和写入注意力矩阵。

同一层级falshattention 实现的方式有哪些？

flashattenton2:
从GPU硬件特性（并行度、内存层次、Warp调度）出发，重构了算法实现。
最重要的是并行化策略,增加了序列来增加并行

算子融合
原理：减少内核启动开销和内存读写，提升计算效率。

Continuous Batching (连续批处理)

核心思想是：以每次前向传播（iteration）为调度单位，而不是以整个请求（sequence）为单位。
也就是已完成请求立即离开批次，新请求立即加入，批处理持续进行。

• 静态批处理 (Static Batching)：在推理前，将多个请求合并为一个大的请求，然后一次性推理。这种方式可以提高吞吐量，但是需要所有请求都完成后才能返回结果，所以一般不会应用
• 动态批处理 (Dynamic Batching)
  收集一批_同时到达_的请求，一起处理，完成后下一批。

其它方式

比如NZ优化，tensor.cpu同步消除

投机推理（MTP）

MTP实现的算法有哪些？
本质是大模型一次稍贵但便宜得多的并行计算，再加上K次小模型的廉价计算

LLM中一些优化特性

prefix-caching
PageAttention 主要管理同一个请求内部的 KV Cache，prefix caching能够共享相同提示词的多个请求

PD分离
p与d分开在不同的实例并行进行推理，收益点：
p不会阻塞d，在SLO要求下有收益；
p与d按其计算特点使用不用的并行方式

图模式
将模型的计算过程预先编译成一个静态的计算图，减少host耗时，减少device空闲

• 降低内核启动开销：减少 GPU 内核启动次数。
• 内存优化：图编译器可以更好地规划内存分配和复用。
• 算子融合：将多个小算子融合成一个大算子，减少数据搬运，提升计算效率。

chunked-prefill
将长输入切分为多个chunk处理，降低显存开销，支持更长序列；
decode不会被prefill完全阻塞，降低decode时延；平衡硬件的资源利用率，提升总体吞吐

其他重要特性

• Guided-decoding:
  • 通过logit-process, 格式化控制模型输出
• Reasoning content:
  • 解析返回体中的reasoning
• Function call:
  • 解析返回体中的tool；通常和guided-decoding一起使用
• Multi-lora:
  • 基模型和多个挂载的lora权重一起推理服务