VLLM性能调优

1. 抢占

显存不够的时候，某些request会被抢占。其KV cache被清除，腾退给其他request，下次调度到它，重新计算KV cache。

报这条消息，说明已被抢占：

WARNING 05-09 00:49:33 scheduler.py:1057 Sequence group 0 is preempted by PreemptionMode.SWAP mode because there is not enough KV cache space. This can affect the end-to-end performance. Increase gpu_memory_utilization or tensor_parallel_size to provide more KV cache memory. total_cumulative_preemption_cnt=1

如果不想被抢占，解决办法：

- 增大gpu_memory_utilization。提高KV cache占用的显存百分比。

- 减少max_num_seqs或max_num_batched_tokens。减少一个batch里的请求、token个数，从而减少KV cache占用。

- 增大tensor_parallel_size。使用多张GPU的TP并行。

可以查看VLLM自带的Prometheus指标，查看抢占的请求数量。或者打开日志disable_log_stats=False。

2. chunked prefill

默认下，prefill优先，prefill和decode不放到相同batch里：

chunked prefill打开后，decode优先，decode的token不够时用prefill token来凑：

好处：

decode延迟减小；GPU使用率增大；

batch大小：

batch越小，则ITL越小（我的实验也是观察到这个现象）。原因：decode阶段加入的prefill tokens少，就能不怎么变慢。

batch越大，则TTFT越小。原因：prefill的请求可以在更少的batch里完成。

总体来说，batch太小的话，会给吞吐量带来灾难。因为计算不够密集。

VLLM推荐的2个paper:

(https://arxiv.org/pdf/2401.08671 or https://arxiv.org/pdf/2308.16369)