码迷,mamicode.com
首页 > 其他好文 > 详细

线性回归

时间:2020-04-22 00:22:10      阅读:78      评论:0      收藏:0      [点我收藏+]

标签:pre   集成   估计   基本   最小化   产生   误差   分类   输入   

基本形式

线性模型,具有更好的可解释性,每个参数有表示的意义。

f(x) = wx + b

线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记。

要训练w使得代价函数最小,如何选一个w使得代价函数最小?

最小均方算法(LMS)。基于均方误差最小化来进行模型求解的方法称为“最小二乘法”

w* = argmin (y-wx)T(y-wx)
//当XTX为满秩矩阵或正定矩阵时,可以得到下方等式。
w = (XT * X)-1 * XT * y

然而,显示生活中很多XTX不是满秩矩阵,需要引入正则化项。

广义线性模型

lny = wx + b

对数线性回归,形式上仍是线性回归,实质上已是在求取输入空间到输出空间的非线性函数映射。

对数几率回归

逻辑斯蒂回归,正例与反例的比值的对数。通过极大似然法估计w和b。

多分类学习

多分类学习的基本思路是将多分类拆为若干个二分类任务求解。为拆出的每个二分类任务训练一个分类器,最后对所有分类器的预测结果进行集成以获得最终的多分类结果。

关键是如何拆分?有三种策略:一对一,一对其余,多对多

一对一:将N个类别两两配对,产生N*(N-1)/2个二分类任务,最后结果通过投票得出。

一对其余:一个类的样例作为正例,其他类的样例作为反例,需要训练N个分类器

多对多:若干个作为正类,若干个作为反类。

类别不平衡

分类任务重不同类别的训练样例数目差别很大,正例少反例多,或正例多反例少。

线性回归

标签:pre   集成   估计   基本   最小化   产生   误差   分类   输入   

原文地址:https://www.cnblogs.com/chenshaowei/p/12748756.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!