线性回归基本方法--最小二乘法(Least Squares Approximations)，这里记录具体思想。
\(Ax=b\)在实际情况中大多是无解的，一种情况是：方程式往往会比未知数更多(\(m>n\))，而 n 列只能产生 m 维线性空间的一小部分。 换句话讲，\(\boldsymbol{b}\) 总是在 \(C(A)\) 之外。这时我们便可以通过上一章投影的有关知识解决这一问题。
首先给出结果，和投影一样，我们的基本方程仍是如下方程： \[A^TA\boldsymbol{\hat{x}}=A^T\boldsymbol{b}\]
而我们的基本目标就是减小 error ( \(\boldsymbol{Ax-b}\) )，我们可以从三个不同的方向解决的这个问题：
几何方向
对于一条直线\(\boldsymbol{b}\)，要让其和一个平面/子空间 \(A\boldsymbol{x}\) 相距最小， 必然要求出其投影\(\boldsymbol{p}\)，\(\boldsymbol{e = b - p}\) 此时就是最小的， \(\boldsymbol{p}\) 此时也是比较合适的的接近解的直线。
代数方向
每一个向量 \(\boldsymbol{b}\) 都可以被分成两个部分，一个是在 \(C(A)\) 中的 \(\boldsymbol{p}\)， 另一部分则是正交于 \(C(A)\) 的 \(\boldsymbol{e}\)。
\(A\boldsymbol{x = b = p + e}\) 是不可解的
\(A\boldsymbol{\hat{x} = p}\) 则是可解的
而后者的解则留下了最小的误差$ $。最小的原因：
这里有 Squared length for any \(x\): \(||Ax - b||^2 = ||Ax-p||^2 + ||e||^2\)
而我们把 \(||Ax-p||^2\) 减到了 \(0\) ，已经把 \(||Ax - b||^2\) 减到不能再减了。
微积分方向
举例而言，对于直线\(C + Dt\)，有三个样本点：\((0,6), (1,0), (2,0)\)，则有：
\[ A=\left [ \begin{matrix} 1& 0 \\ 1& 1 \\ 1& 2 \\ \end{matrix} \right ] , \boldsymbol{x} = \left [ \begin{matrix} C \\ D \\ \end{matrix} \right ] , \boldsymbol{b} = \left [ \begin{matrix} 6 \\ 0 \\ 0 \\ \end{matrix} \right ] \]
我们要最小化 \(E = ||Ax-b||^2\) 则要有： \[\frac{\partial E}{\partial C} = 0, \quad \frac{\partial E}{\partial D} = 0\]
事实上最后化简的结果与 \(A^TA\hat{x}=A^Tb\) 是一样的。