vllm-tp-dp
差别
这里会显示出您选择的修订版和当前版本之间的差别。
| 两侧同时换到之前的修订记录前一修订版后一修订版 | 前一修订版 | ||
| vllm-tp-dp [2026/08/26 01:02] – [TP（Tensor Parallelism，张量并行）和 DP（Data Parallelism，数据并行）] chenyang | vllm-tp-dp [2026/08/26 01:07] (当前版本) – [7. 和你之前问的 vLLM“准确率”也有关系吗？] chenyang | ||
|---|---|---|---|
| 行 64: | 行 64: | ||
| --- | --- | ||
| - | |||
| ## 2. DP：Data Parallelism | ## 2. DP：Data Parallelism | ||
| 行 95: | 行 94: | ||
| 所以 DP 的主要目的不是让模型变大，而是： | 所以 DP 的主要目的不是让模型变大，而是： | ||
| - | > **提高吞吐量。** | + | > 提高吞吐量。 |
| - | --- | ||
| ## 3. TP 和 DP 的核心区别 | ## 3. TP 和 DP 的核心区别 | ||
| 行 291: | 行 289: | ||
| --- | --- | ||
| - | |||
| - | ## 7. 和你之前问的 vLLM“准确率”也有关系吗？ | ||
| - | |||
| - | 这里有一个容易混淆的地方： | ||
| - | |||
| - | **TP/DP 本身一般不会改变模型的理论能力或准确率。** | ||
| - | |||
| - | 正常情况下： | ||
| - | |||
| - | ```text | ||
| - | TP=1 | ||
| - | TP=2 | ||
| - | TP=4 | ||
| - | ``` | ||
| - | |||
| - | 计算结果应该基本一致，允许存在一些由于 GPU 浮点计算顺序、量化、kernel 等产生的微小数值差异。 | ||
| - | |||
| - | 但是如果你发现： | ||
| - | |||
| - | ```text | ||
| - | TP=1 → 回答很好 | ||
| - | TP=4 → 回答明显变差 | ||
| - | ``` | ||
| - | |||
| - | 那就值得排查： | ||
| - | |||
| - | * `dtype` | ||
| - | * quantization | ||
| - | * attention backend | ||
| - | * FlashAttention | ||
| - | * KV Cache | ||
| - | * `max_model_len` | ||
| - | * sampling 参数 | ||
| - | * CUDA / PyTorch / vLLM 版本 | ||
| - | * TP 通信 | ||
| - | * MoE 模型的并行配置 | ||
| - | * 是否发生 OOM 后的异常行为 | ||
| - | |||
| - | **而 DP 更多影响的是吞吐和请求分配，不是单个模型的能力。** | ||
| - | |||
vllm-tp-dp.1787706150.txt.gz · 最后更改: 由 chenyang