DPO算法推导

DPO

• 核心思想：直接使用偏好数据进行策略优化，省去 reward 模型策略优化。

• 技术背景知识：

  首先给定prompt x，生成两个答案$(y_1,y_2){\Pi }^{SFT}(y|x)$ ，并通过人工标注对比$y_1,y_2$ ，获得偏好结果(preference) $y_w\succ y_l|x$，其中$w$和$l$表示win和lose。

  引入奖励模型$r$ , $y_1>y_2$ 的概率可以表示为
  $$p(y_1>y_2)=\frac{r^{\ast }(x,y_1)}{r^{\ast }(x,y_1)+r^{\ast }(x,y_2)}$$
  为使得奖励函数均为正数，引入Bradley-Terry 模型。

  • Bradley-Terry：
    $$p^{\ast }(y_w\succ y_l|x)=\frac{exp(r^{\ast }(x,y_1))}{exp(r^{\ast }(x,y_1))+exp(r^{\ast }(x,y_2))}$$
    交叉熵：

    令$a_x=exp(r^{\ast }(x,y_1))$, $a_y=exp(r^{\ast }(x,y_2))$
    $$\begin{gathered} Loss=-E_{(a_x,a_y)\sim D}[ln\frac{a_x}{a_x+a_y}] \\ =-E_{(x,y_w,y_l)\sim D}[ln\frac{exp(r^{\ast }(x,y_w))}{exp(r^{\ast }(x,y_w))+exp(r^{\ast }(x,y_l))}] \\ =-E_{(x,y_w,y_l)\sim D}[ln\frac{1}{1+exp(r^{\ast }(x,y_l)-r^{\ast }(x,y_w))}] \\ =-E_{(x,y_w,y_l)\sim D}[ln\sigma (r^{\ast }(x,y_w)-r^{\ast }(x,y_l))] \end{gathered}$$

  • KL 散度：
    $$KL(P||Q)=\sum _{x\in X}P(X)log(\frac{P(X)}{Q(X)})$$
    $P(x),Q(x)$ 分别是数据真实分布和模型预测分布。

• DPO 目标函数:获取更多的奖励，并尽可能保证与基准模型一致。
  $$\begin{gathered} \underset{\pi }{\max }{E}_{x\in X,y\in \pi }[r(x,y)]-\beta \cdot {\mathbb{D}}_{KL}[\pi (y|x)||{\pi }_{ref}(y|x)] \\ =\underset{\pi }{\max }{E}_{x\in X,y\in \pi }[r(x,y)]-E_{x\in X,y\in \pi }[\beta \cdot log\frac{\pi (y|x)}{{\pi }_{ref}(y|x)}] \\ =\underset{\pi }{\max }{E}_{x\in X,y\in \pi }[r(x,y)-\beta \cdot log\frac{\pi (y|x)}{{\pi }_{ref}(y|x)}] \\ =\underset{\pi }{\max }{E}_{x\in X,y\in \pi }[log\frac{\pi (y|x)}{{\pi }_{ref}(y|x)}-\frac{1}{\beta }r(x,y))] \\ =\underset{\pi }{\min }{E}_{x\in X,y\in \pi }[log\frac{\pi (y|x)}{{\pi }_{ref}(y|x)}-logexp(\frac{1}{\beta }r(x,y))] \\ =\underset{\pi }{\min }{E}_{x\in X,y\in \pi }[log\frac{\pi (y|x)}{{\pi }_{ref}(y|x)\cdot exp(\frac{1}{\beta }r(x,y))}] \\ =\underset{\pi }{\min }{E}_{x\in X,y\in \pi }[log\frac{\pi (y|x)}{\frac{1}{Z(x)}{\pi }_{ref}(y|x)\cdot exp(\frac{1}{\beta }r(x,y))}-logZ(x)] \end{gathered}$$
  令$Z(x)$ 表示如下：
  $$Z(x)=\sum _y{\pi }_{ref}(y|x)exp(\frac{1}{\beta }r(x,y))$$
  令：
  $$\begin{gathered} \frac{1}{Z(x)}{\pi }_{ref}(y|x)\cdot exp(\frac{1}{\beta }r(x,y))=\frac{{\pi }_{ref}(y|x)\cdot exp(\frac{1}{\beta }r(x,y))}{\sum _y{\pi }_{ref}(y|x)exp(\frac{1}{\beta }r(x,y))} \\ ={\pi }^{\ast }(y|x) \end{gathered}$$
  接下来继续对``dpo` 目标函数进行化简：
  $$\begin{gathered} \underset{\pi }{\min }{E}_{x\in X,y\in \pi }[log\frac{\pi (y|x)}{\frac{1}{Z(x)}{\pi }_{ref}(y|x)\cdot exp(\frac{1}{\beta }r(x,y))}-logZ(x)] \\ =\underset{\pi }{\min }{E}_{x\in X,y\in \pi }[log\frac{\pi (y|x)}{{\pi }^{\ast }(y|x)}-logZ(x)] \end{gathered}$$
  由于$Z(x)$ 表达式与 $\pi$ 不相关，优化可以直接省去。
  $$\begin{gathered} \underset{\pi }{\min }{E}_{x\in X,y\in \pi }[log\frac{\pi (y|x)}{{\pi }^{\ast }(y|x)}-logZ(x)] \\ =\underset{\pi }{\min }{E}_{x\in X,y\in \pi }[log\frac{\pi (y|x)}{{\pi }^{\ast }(y|x)}] \\ =\underset{\pi }{\min }{E}_{x\sim D}[{\mathbb{D}}_{KL}(\pi (y|x)||{\pi }^{\ast }(y|x))] \end{gathered}$$
  当 目标函数最小化，也就是${\mathbb{D}}_{KL}$ 最小化，所满足的条件为：
  $$\pi (y|x)={\pi }^{\ast }(y|x)=\frac{1}{Z(x)}{\pi }_{ref}(y|x)\cdot exp(\frac{1}{\beta }r(x,y))$$
  反解奖励函数$r(x,y)$
  $$r(x,y)=\beta \frac{\pi (y|x)}{{\pi }_{ref}(y|x)}+\beta \cdot ln\mathbb{Z}(x)$$

求解奖励函数隐式表达后，带入Bradley-Terry 交叉熵函数：
$$\begin{gathered} Loss=-E_{(x,y_w,y_l)\sim D}[ln\sigma (r^{\ast }(x,y_w)-r^{\ast }(x,y_l))] \\ =-E_{(x,y_w,y_l)\sim D}[ln\sigma (\beta log\frac{\pi (y_w|x)}{{\pi }_{ref}(y_w|x)}-\beta log\frac{\pi (y_l|x)}{{\pi }_{ref}(y_l|x)})] \end{gathered}$$
到此，整个数学部分已推导完毕，不得不说句牛逼plus。

• 梯度表征：

  将上述损失进行梯度求导
  $${\nabla }_{\theta }Loss({\pi }_{\theta };{\pi }_{ref})=-E_{(x,y_w,y_l)\sim D}[\beta \sigma (\beta log\frac{\pi (y_w|x)}{{\pi }_{ref}(y_w|x)}-\beta log\frac{\pi (y_l|x)}{{\pi }_{ref}(y_l|x)})[{\nabla }_{\theta }log\pi (y_w|x)-{\nabla }_{\theta }log\pi (y_l|x)]]$$
  再令：
  $$\hat{r}(x,y)=\beta \frac{{\pi }_{\theta }(y|x)}{{\pi }_{ref}(y|x)}$$
  最终形式：
  $${\nabla }_{\theta }Loss({\pi }_{\theta };{\pi }_{ref})=-\beta E_{(x,y_w,y_l)\sim D}[\underset{higherweightwhenrewardestimateiswrong}{\underbrace{\sigma ({\hat{r}}^{\ast }(x,y_w)-{\hat{r}}^{\ast }(x,y_l))}}[\underset{increaselikelihoodof{y}_w}{\underbrace{{\nabla }_{\theta }log\pi (y_w|x)}}-\underset{decreaselikelihoodof{y}_l}{\underbrace{{\nabla }_{\theta }log\pi (y_l|x)}}]]$$

• 改进方法ODPO

  dpo缺陷主要是：采用Bradley–Terry model只给出了一个response比另一个response好的概率，而没有告诉我们好的程度。

​ odpo 核心思想： 把这个好的程度的差距信息引入到偏好的建模里，应该能带来收益，及在dpo损失里添加margin , 这相当于要求偏好回应的评估分数要比非偏好回应的评估分数大，且要大offset值这么多。目的是：加大对靠得比较近的数据对的惩罚力度。
$$\begin{gathered} Los{s}^{odpo}=-E_{(x,y_w,y_l)\sim D}[ln\sigma (r^{\ast }(x,y_w)-r^{\ast }(x,y_l))-{\delta }_r] \\ {\delta }_r=\alpha log(r(y_w)-r(y_l)) \end{gathered}$$

• 相似改进方法：

  IPO KTO 都是不需要奖励模型的；