一、引言 这段时间学习《机器学习》，学到第5章的“Logistic回归”，感觉相当吃力。追本溯源，从“Logistic回归”到“线性回归”，再到“最小二乘法”。最终定格到了《高等数学》（第六版·下册）第九章第10节“最小二乘法”，这才了解到最小二乘法背后的数学原理出自哪里。 “最小二乘法”是最优化问 ...
分类：
其他好文 时间：
2017-06-02 13:30:08
阅读次数：
205
1.最小二乘法 注：这里假定你了解向量的求导公式，并且知道正态分布和中心极限定律（不知道的可以去数学知识索引翻翻） (线性)最小二乘回归解法： 损失函数：平方损失，这里的误差可能是多种独立因素加和造成的，所以我们假定其符合均值为0的高斯分布，继而可以推出平方损失。参考Andrew Ng机器学习公开课 ...
分类：
其他好文 时间：
2017-06-01 10:35:58
阅读次数：
255
岭回归技术的原理和应用 作者马文敏 岭回归分析是一种专用于共线性分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息，降低精度为代价获得回归系数更为符合实际，更可靠的回归方法，对病态数据的耐受性远远强于最小二乘法。 回归分析：他是确立两种或两种以上变量 ...
分类：
编程语言 时间：
2017-05-30 18:00:42
阅读次数：
220
抛出问题：为什么前面的线性回归要用最小二乘法？为什么要用这样的指标？ 下面我们会给出一系列的概率假设，从而导出最小二乘法是一个很自然的算法： 先设 y^(i) = θTx^(i) + ε（i）, 其中ε（i）叫做误差项 error term，这个可以看作是对未建模的效应的捕获，简单的说就是没有考虑到 ...
分类：
其他好文 时间：
2017-05-30 17:49:00
阅读次数：
273
1.1.2 Ridge Regression（岭回归） 岭回归和普通最小二乘法回归的一个重要差别是前者对系数模的平方进行了限制。例如以下所看到的： In [1]: from sklearn import linear_model In [2]: clf = linear_model.R linear ...
分类：
其他好文 时间：
2017-05-26 23:33:29
阅读次数：
344
隐性反馈行为数据的协同过滤推荐算法 《Collaborative Filtering for Implicit Feedback Datasets》论文笔记 本文是我阅读《CollaborativeFiltering for Implicit Feedback Datasets》论文的笔记，介绍的是 ...
分类：
编程语言 时间：
2017-05-24 18:31:53
阅读次数：
1033
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（GradientDescent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1.梯度在微积分里面，对多元函数的参数求偏导数，把求得的各个参数的偏导数以向量的形式写出来，就..
分类：
其他好文 时间：
2017-05-14 10:55:32
阅读次数：
139
概念 最小二乘法多项式曲线拟合，根据给定的m个点,并不要求这条曲线精确地经过这些点，而是曲线y=f(x)的近似曲线y= φ(x)。 原理 [原理部分由个人根据互联网上的资料进行总结，希望对大家能有用] 给定数据点pi(xi,yi)，其中i=1,2,…,m。求近似曲线y= φ(x)。并且使得近似曲线与 ...
分类：
其他好文 时间：
2017-05-11 00:16:58
阅读次数：
259
Adaline神经网络Adaline利用了最小二乘法的思想，相较于感知机神经网络，对于数据的线性可分的要求更低一些，可以允许一些异常数据。
上面描述了迭代求解的过程，但是在x0(k+1)x_...
分类：
其他好文 时间：
2017-05-08 09:55:01
阅读次数：
247
之所以说”使用”而不是”实现”，是因为python的相关类库已经帮我们实现了具体算法，而我们只要学会使用就可以了。随着对技术的逐渐掌握及积累，当类库中的算法已经无法满足自身需求的时候，我们也可以尝试通过自己的方式实现各种算法。言归正传，什么是”最小二乘法”呢？定..
分类：
编程语言 时间：
2017-05-07 21:18:30
阅读次数：
240
