Continuous Batching 连续批处理

原始论文题目：
Continuous Batching — ORCA: a distributed serving system for Transformer-based generative models

关键词：
Continuous Batching， iteration-level scheduling， selective batching

1.迭代级调度(iteration-level scheduling)

Orca系统又由几个关键组件组成：
Endpoint，Scheduler，Execution Engine，Request Pool

• Endpoint一般是（HTTPS或者gRPC）用来处理推理请求（inference requests）；
• 所有的requests被放入到Request pool当中，并被scheduler监控；
  scheduler 从request pool中选择requests，并放到execution engine上去运行一个模型迭代（run a model iteration），并从execution engine中收取输出tokens，再更新到request pool中；
• execution engine执行张量运算，以及多个GPU并行运算；
• scheduler动态的决定在每一次迭代中，哪些requests要被处理，一旦一个请求完全被处理完毕，那么这个请求就会被从request pool中移除，并发送给endpoint；

不同于那些通过多次迭代直到所有迭代全部完成的传统批处理方法，ORCA的scheduler可以调整在每次迭代过程中哪些请求要被处理。

上面图片是原始论文中ORCA系统overview

图中虚线的部分表示每次execution engine的迭代都涉及到的相关组件。

$x_{ij}$