学习笔记——最小二乘法-白红宇

学习笔记——最小二乘法

阅读量：2394 次

发布时间：2019-05-10

本文共 278 字，大约阅读时间需要 1 分钟。

1、最小二乘法是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配

2、典型的一类函数模型是线性函数模型。最简单的线性式是 $y = x 0 + x 1 t$ ，写成行列式，为

$\min_{x_0,x_1}\left\|\begin{pmatrix}1 & t_1 \\ \vdots & \vdots \\ 1 & t_n \end{pmatrix} \begin{pmatrix} x_0\\ x_1\end{pmatrix} - \begin{pmatrix} y_1 \\ \vdots \\ y_{n}\end{pmatrix}\right\|_{2} = \min_x\|Ax-b\|_2.$

直接给出该式的参数解：

$x_1 = \frac{\sum_{i=1}^n t_iy_i - n \cdot \bar t \bar y}{\sum_{i=1}^n t_i^2- n \cdot (\bar t)^2}$ 和

$x_0 = \bar y - x_1 \bar t$

其中 $\bar t = \frac{1}{n} \sum_{i=1}^n t_i$ ，为t值的。也可解得如下形式：

$x_1 = \frac{\sum_{i=1}^n (t_i - \bar t)(y_i - \bar y)}{\sum_{i=1}^n (t_i - \bar t)^2}$

3、

4、最小二乘是一种最基本的辨识方法，但它具有两方面的缺陷：

当模型噪声是有色噪声时，最小二乘估计不是无偏、一致估计；

随着数据的增长，将出现所谓的“数据饱和”现象。

针对这两个问题，出现了相应的辨识算法，如遗忘因子法、限定记忆法、偏差补偿法、增广最小二乘、广义最小二乘、辅助变量法、二步法及多级最小二乘法等。

转载地址：http://bswob.baihongyu.com/

你可能感兴趣的文章