在各类比赛中经常出现预测回归问题，一般使用scikit learn的模型，本文就对这些类库的使用做一个总结，总结时注重自己做比赛中的使用经验。 1. Ordinary Least Squares（最小二乘法） 最简单的线性模型，损失函数是平方差损失，常用梯度下降法求解参数。 使用要点：这个模型不像其 ...
分类：
其他好文 时间：
2020-02-29 15:05:01
阅读次数：
105
目录 最小二乘法的原理与要解决的问题 最小二乘法的代数法解法 最小二乘法的矩阵法解法 最小二乘法的局限性和适用场景 常见问题 最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。 一、最小二乘法的原理与要... ...
分类：
其他好文 时间：
2020-02-23 22:09:40
阅读次数：
149
目录 简述 梯度下降与梯度上升 梯度下降法算法详解 梯度下降法大家族（BGD，SGD，MBGD） 梯度下降法和其他无约束优化算法的比较 总结 在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法(在【2】中已... ...
分类：
其他好文 时间：
2020-02-23 21:50:51
阅读次数：
65
一、接着上一节说正定矩阵 所谓正定，就是$x^TAx > 0$（$except \space for \space x = 0$）成立，我们通常也可以通过特征值，主元，行列式来判断 虽然我们知道了什么是正定矩阵，如何判断正定矩阵，那么正定矩阵是从何而来的呢？主要来自：最小二乘法 实际上，大量的物理问 ...
分类：
其他好文 时间：
2020-02-22 13:38:46
阅读次数：
84
线性回归形如y=w*x+b的形式，变量为连续型（离散为分类）。一般求解这样的式子可采用最小二乘法原理，即方差最小化， loss=min（y_pred-y_true）^2。若为一元回归，就可以求w与b的偏导，并令其为0，可求得w与b值；若为多元线性回归， 将用到梯度下降法求解，这里的梯度值w的偏导数， ...
分类：
其他好文 时间：
2020-02-16 14:37:25
阅读次数：
59
线性最小二乘法 1. 原理： 通过最小化误差的平方和寻找数据的最佳函数匹配，如图(点到直线距离最短） 2. 求解 假设直线为： 最小二乘模型： 求解： 方程化： 解得： 代码实现： ###最小二乘实现 import numpy as np import matplotlib.pyplot as pl ...
分类：
其他好文 时间：
2020-02-07 22:40:33
阅读次数：
130
在之前的文章当中，我们介绍过了简单的朴素贝叶斯分类模型，介绍过最小二乘法，所以这期文章我们顺水推舟，来讲讲 线性回归 模型。 线性回归的本质其实是一种 统计学 当中的回归分析方法，考察的是 自变量和因变量之间的线性关联 。后来也许是建模的过程和模型训练的方式和机器学习的理念比较接近，所以近年来，这个 ...
分类：
其他好文 时间：
2020-02-05 10:16:34
阅读次数：
71
本文始发于个人公众号： TechFlow 今天这篇文章和大家聊聊 期望和方差 。 期望 期望这个概念我们很早就在课本里接触了，维基百科的定义是： 它表示的是一个随机变量的值在每次实验当中可能出现的结果乘上结果概率的总和 。换句话说，期望值衡量的是多次实验下，所有可能得到的状态的平均结果。 我们举两个 ...
分类：
其他好文 时间：
2020-01-24 17:10:35
阅读次数：
287
[TOC] 可能我从来就没真正的整明白过，只是会考试而已 搞清楚事情的来龙去脉不容易忘记 两个常见的参数估计法： 极大似然估计法和最小二乘法 1.极大似然估计 "ref知乎" ,模型已定，参数未知的条件下，根据实验数据估计参数模型，等价于“利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参 ...
分类：
其他好文 时间：
2020-01-14 11:26:18
阅读次数：
151
根据已知特征值X和标签结果Y,我们利用线性回归模型（为了简化，作者以一元线性回归为例说明）可以得出 yi^=wxi+b。 损失函数：loss=Σ(yi-yi^)2 ，为了得到更加准确的拟合模型，我们的目标就转化为使损失函数loss最小，即： argmin loss=argmin Σ(yi-yi^)2 ...
分类：
其他好文 时间：
2020-01-11 14:57:31
阅读次数：
154
