vllm-tp-dp
差别
这里会显示出您选择的修订版和当前版本之间的差别。
| 两侧同时换到之前的修订记录前一修订版 | |||
| vllm-tp-dp [2026/08/26 01:05] – [2. DP：Data Parallelism] chenyang | vllm-tp-dp [2026/08/26 01:07] (当前版本) – [7. 和你之前问的 vLLM“准确率”也有关系吗？] chenyang | ||
|---|---|---|---|
| 行 289: | 行 289: | ||
| --- | --- | ||
| - | |||
| - | ## 7. 和你之前问的 vLLM“准确率”也有关系吗？ | ||
| - | |||
| - | 这里有一个容易混淆的地方： | ||
| - | |||
| - | **TP/DP 本身一般不会改变模型的理论能力或准确率。** | ||
| - | |||
| - | 正常情况下： | ||
| - | |||
| - | ```text | ||
| - | TP=1 | ||
| - | TP=2 | ||
| - | TP=4 | ||
| - | ``` | ||
| - | |||
| - | 计算结果应该基本一致，允许存在一些由于 GPU 浮点计算顺序、量化、kernel 等产生的微小数值差异。 | ||
| - | |||
| - | 但是如果你发现： | ||
| - | |||
| - | ```text | ||
| - | TP=1 → 回答很好 | ||
| - | TP=4 → 回答明显变差 | ||
| - | ``` | ||
| - | |||
| - | 那就值得排查： | ||
| - | |||
| - | * `dtype` | ||
| - | * quantization | ||
| - | * attention backend | ||
| - | * FlashAttention | ||
| - | * KV Cache | ||
| - | * `max_model_len` | ||
| - | * sampling 参数 | ||
| - | * CUDA / PyTorch / vLLM 版本 | ||
| - | * TP 通信 | ||
| - | * MoE 模型的并行配置 | ||
| - | * 是否发生 OOM 后的异常行为 | ||
| - | |||
| - | **而 DP 更多影响的是吞吐和请求分配，不是单个模型的能力。** | ||
| - | |||
vllm-tp-dp.txt · 最后更改: 由 chenyang