Intro
线性回归(Linear Regression)是机器学习的基本方式,但为了提升其性能,人们发明了无数优化方式。这个“不只是线性回归”系列就是为了记录我在日常的学习中发现的,不只是简单的线性回归的算法、优化方式、数学原理等。
1. 稳健回归(Robust Regression)
稳健回归,顾名思义就是“稳健的”线性回归。它主要解决了一般线性回归受离群值(outliers)的问题,而这个问题主要体现在回归模型中使用的最小二乘法实现。
1.1 最小二乘法的问题
最小二乘法,是通过最小化误差(error)的平方和来寻找最佳回归函数的方法。它的本质是无偏估计,因此离群值的存在对它的有效性会有非常大的影响。
这个网址提供了一个小工具,可以非常方便的看到离群值对最小二乘法的巨大影响。可以看到图1中有一个60个数据点的数据集,并绘制出了一条蓝色的回归直线。在图2中,只是添加了三个离群值(右下角),就直接将回归结果的相关系数从0.77拉低到了0.43。
图1:无离群值的OLS
图2:添加离群值后的OLS
稳健回归,就非常好的解决了上面的问题。
1.2 对离群值的容忍度(Breaking Point)
稳健回归对离群值的处理基于一个可设定的参数:容忍度。这个参数决定了模型会将哪些离群值剔除出训练数据。在下面介绍的算法中,都可以找到相应的此参数。
1.3 RANSAC - 随机采样一致性算法
RANSAC算法其实是一种重采样的技术,它通过多次随机采样,得到更准确的剔除离群值影响的模型。它的一种常见计算步骤如下:
- 随机选择n个样本点(n是人为指定的模型所需最小样本点数量);
- 根据这些样本得出回归模型;
- 根据上一步得到的模型计算所有样本点的残差(residual),将残差小于预设残差阈值的点归为inlier,其余是outlier;
- 判断inlier数量是否达到预设的样本数阈值,如果达到则说明模型足够合理,如果未达到则重复上述步骤。
从上面的算法步骤就能看出,RANSAC算法的有效性很大程度上取决于迭代次数,但它大部分时候还是可以得到一个不错的结果。
下面是用 sklearn 库的 RANSACRegressor 类实现的一个代码示例。
1 |
|
最后绘制出的图表如下,可以看出RANSAC模型得出的结果会更加精确且成功排除了大量离群值。
图3:RANSAC模型与普通线性回归对比
Summary
其实稳健回归还有很多其他的模型,如提尔森回归(Theil-sen)等。
它们各有各的适用范围,例如上面的提尔森回归据说更适合多维的回归(我并没有自己研究过…)。