正规方程推导，详细版

推导正规方程（Normal Equation）通常是在线性回归的上下文中进行的。线性回归的目标是找到一个线性模型 $h_{\theta }(x)={\theta }^{T}x$，使得模型的预测值与实际值之间的差异（通常是均方误差）最小。

以下是推导正规方程的详细步骤，每一步都会说明所依据的公式或原理：

1. 定义损失函数

线性回归的损失函数通常是均方误差（Mean Squared Error, MSE）：

$J(\theta )=\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$

其中：

• $m$ 是样本数量。
• $x^{(i)}$ 是第 $i$ 个样本的特征向量。
• $y^{(i)}$ 是第 $i$ 个样本的实际值。
• $h_{\theta }(x^{(i)})$ 是模型对第 $i$ 个样本的预测值。
• $\theta$ 是模型的参数向量。

2. 展开损失函数

将 $h_{\theta }(x^{(i)})$ 替换为 ${\theta }^T{x}^{(i)}$，并将损失函数展开：

$J(\theta )=\frac{1}{2m}{\sum }_{i=1}^m({\theta }^{s}hiziT{x}^{(i)}-y^{(i)}{)}^2$

在推导正规方程的过程中，对损失函数求导是一个关键步骤。这里我们将详细说明如何使用矩阵微积分来求导。

首先，回顾损失函数的向量化表示：

$J(\theta )=\frac{1}{2m}(X\theta -y{)}^T(X\theta -y)$

$J(\theta )=\frac{1}{2m}\left[({\theta }^T{X}^T-y^T)(X\theta -y)\right]$ 依据矩阵转置公式： $(A+B)T=A^T+B^T$, $(AB{)}^T=B^T{A}^T$。

$=\frac{1}{2m}\left[{\theta }^T{X}^{T}X\theta -{\theta }^T{X}^{T}y-y^{T}X\theta +y^{T}y\right]$ 乘法展开

2. 求导：
   我们的目标是找到使 $J(\theta )$ 最小的 $\theta$。为此，我们需要对 $J(\theta )$ 关于 $\theta$ 求导。 因为最开始我们的式子$J(\theta )=\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$ 是一个二次方程，所以他是一个凸函数，在导数为0的时候有最小值。

现在，我们对上式中的每一项关于 $\theta$ 求导。

• 对于 ${\theta }^T{X}^{T}X\theta$：

使用矩阵微积分的规则，$\frac{d}{d\theta }({\theta }^{T}A\theta )=2A\theta$（其中 $A$ 是对称矩阵）。

因此，$\frac{d}{d\theta }({\theta }^T{X}^{T}X\theta )=2X^{T}X\theta$。

• 对于 $-{\theta }^T{X}^{T}y$ 和 $-y^{T}X\theta$：

这两项是标量的转置，它们实际上是相等的（只是符号相反）。我们可以将它们合并为一个项（ $-2{\theta }^T{X}^{T}y$），并注意到 $\frac{d}{d\theta }(-{\theta }^{T}a)=-a$（其中 $a$ 是常数向量， 这里a是$X^{T}y$）。 为什么这两项相等呢？ 读者可以自行找三个矩阵乘一下试试， 为什么。 $-{\theta }^T{X}^{T}y$ 和 $-y^{T}X\theta$ 是标量呢？

1. 对于 $-{\theta }^T{X}^{T}y$：

   • ${\theta }^T$ 是一个 $1\times n$ 的矩阵（或向量）。
   • $X^T$ 是一个 $n\times m$ 的矩阵。
   • $y$ 是一个 $m\times 1$ 的矩阵（或向量）。

   当 ${\theta }^T$ 与 $X^T$ 相乘时，结果是一个 $1\times m$ 的矩阵。然后，这个 $1\times m$ 的矩阵再与 $y$ 相乘（这里实际上是行向量与列向量的点积），结果是一个 $1\times 1$ 的矩阵，即一个标量。

2. 对于 $-y^{T}X\theta$：

   • 虽然这个表达式的乘法顺序与上面的不同，但根据矩阵乘法的结合律和分配律，以及 $X^T$（如果 $X$ 是实数矩阵）与 $X$ 的对称性（如果 $X$ 是对称矩阵，则 $X=X^T$，但在这里我们不需要 $X$ 是对称的，只需要关注维度），这个表达式也可以化简为一个标量。然而，更直接的理解是：

     • $y^T$ 是一个 $1\times m$ 的矩阵。
     • $X$ 是一个 $m\times n$ 的矩阵。
     • $\theta$ 是一个 $n\times 1$ 的矩阵。

     当 $y^T$ 与 $X$ 相乘时，结果是一个 $1\times n$ 的矩阵。然后，这个 $1\times n$ 的矩阵再与 $\theta$ 相乘（同样是行向量与列向量的点积，但在这里是通过矩阵乘法隐含地进行的），结果同样是一个 $1\times 1$ 的矩阵，即一个标量。

因此，$\frac{d}{d\theta }(-{\theta }^T{X}^{T}y-y^{T}X\theta )=-X^{T}y-(X^{T}y{)}^T=-2X^{T}y$（注意：$(X^{T}y{)}^T=y^{T}X$，但在这里我们不需要转置，因为 $X^{T}y$ 已经是一个与 $\theta$ 兼容的向量）。

3. 组合导数：

将上述导数组合起来，得到：

${\nabla }_{\theta }J(\theta )=\frac{1}{2m}\left[2X^{T}X\theta -2X^{T}y\right]$

$=\frac{1}{m}\left[X^{T}X\theta -X^{T}y\right]$

令导数等于零

为了找到使损失函数最小的 $\theta$，我们令导数等于零：

$\frac{1}{m}\left[X^{T}X\theta -X^{T}y\right]=0$

$X^{T}X\theta -X^{T}y=0$

$X^{T}X\theta =X^{T}y$

如果 $X^{T}X$ 是可逆的，我们可以解出 $\theta$：

$\theta =(X^{T}X{)}^{-1}{X}^{T}y$

这一步推导过程如下：
在推导正规方程的过程中，我们得到了一个线性方程组：

$X^{T}X\theta =X^{T}y$

这个方程组是一个 $n\times n$ 的矩阵 $X^{T}X$ 与一个 $n\times 1$ 的向量 $\theta$ 的乘积等于另一个 $n\times 1$ 的向量 $X^{T}y$。

为什么可逆就能求出来结果？

1. 定义与性质：
   一个矩阵 $A$ 是可逆的（或非奇异的），如果存在一个矩阵 $A^{-1}$，使得 $A{A}^{-1}=A^{-1}A=I$，其中 $I$ 是单位矩阵。可逆矩阵的一个重要性质是，对于任何向量 $b$，线性方程组 $Ax=b$ 都有唯一解 $x=A^{-1}b$。

2. 应用到正规方程：
   在我们的情况下，$A=X^{T}X$。如果 $X^{T}X$ 是可逆的，那么我们可以直接通过乘以 $X^{T}X$ 的逆矩阵来求解 $\theta$：

   $\theta =(X^{T}X{)}^{-1}{X}^{T}y$

   这个表达式给出了 $\theta$ 的唯一解（在 $X^{T}X$ 可逆的条件下）。

3. 可逆的条件：
   $X^{T}X$ 可逆的一个充分条件是 $X$ 的列向量线性无关（即 $X$ 的列满秩）。这意味着 $X$ 的列向量不能通过其他列向量的线性组合来表示，从而保证了 $X^{T}X$ 是一个满秩矩阵，因此是可逆的。

4. 求解过程：
   当 $X^{T}X$ 可逆时，我们实际上是在执行以下步骤来求解 $\theta$：

   • 首先，计算 $X^{T}y$，这是一个线性变换，将 $y$ 投影到 $X$ 的列空间上（或者更准确地说，是 $X$ 的行空间，因为 $X^T$ 是 $X$ 的转置）。
   • 然后，通过乘以 $(X^{T}X{)}^{-1}$，我们实际上是在“撤销” $X^{T}X$ 对某个向量所做的变换，从而找到原始参数向量 $\theta$。

总结

在求导过程中，我们使用了矩阵微积分的规则，特别是关于二次型和线性项的导数。通过仔细展开和组合这些项，我们得到了损失函数关于 $\theta$ 的导数，并令其等于零来找到最优解。

以上过程通过提问文心一言获得，目前在这方面最好用的大模型。