线性回归中提到最小二乘损失函数及其相关知识。对于这一部分知识不清楚的同学可以参考上一篇文章《线性回归、梯度下降》。本篇文章主要讲解使用最小二乘法法构建损失函数和最小化损失函数的方法。 最小二乘法构建损失函数 最小二乘法也一种优化方法，用于求得目标函数的最优值。简单的说就是：让我们的预测值与真实值总的...
分类：
其他好文 时间：
2015-08-04 19:03:17
阅读次数：
143
1 import numpy as np 2 3 def SumSquareError(dataset,A): 4 # 输入目标数据集与假设曲线函数，计算误差平方和 5 # 数据形式 dataset[i] = [x,y]，y = hypfunc(x) 6 # A： 多项式...
分类：
编程语言 时间：
2015-07-31 23:26:16
阅读次数：
678
回答1：最大似然估计：现在已经拿到了很多个样本（你的数据集中所有因变量），这些样本值已经实现，最大似然估计就是去找到那个（组）参数估计值，使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经实现了，其发生概率最大才符合逻辑。这时是求样本所有观测的联合概率最大化，是个连乘积，只要取对数，就变成...
分类：
其他好文 时间：
2015-07-23 17:19:13
阅读次数：
519
摘自知乎：其实, 在计算量方面, 两者有很大的不同, 因而在面对给定的问题时, 可以有选择性的根据问题的性质选择两种方法中的一个.具体来说, 最小二乘法的矩阵公式是, 这里的 A 是一个矩阵, b 是一个向量. 如果有离散数据点,, 而想要拟合的方程又大致形如, 那么, A 就是一个的矩阵, 第 i...
分类：
其他好文 时间：
2015-07-22 22:36:17
阅读次数：
128
来源：http://blog.csdn.net/qll125596718/article/details/8248249 求a、b的值： #include #include #include using namespace std; class LeastSquare{ double a, b; p...
分类：
编程语言 时间：
2015-07-22 22:31:15
阅读次数：
219
《机器学习实战》第五章《Logistic回归》中讲到了梯度上升法，随机梯度上升法和改进的随机梯度上升法，下面把这几个算法思想总结一下。首先，梯度上升法比较简单，根据梯度上升的迭代公式计算出了回归系数。书中并没有采取最小二乘法之类的规则来作为迭代终止的条件，而是直接..
分类：
编程语言 时间：
2015-07-21 18:55:19
阅读次数：
241
1、牛顿迭代法
牛顿迭代法法是一种计算近似根算法，对于给定的复杂函数f(x)，常用来求该函数在给定初始值x0附近的近似根。该算法很简单，就是一个迭代的过程：
迭代终止条件可设为：
matlab代码实现：
function y=mulNewton(a,n,x0,eps1)
x(1)=x0;
b=1;
i=1;
while(norm(b)>e...
分类：
其他好文 时间：
2015-07-13 12:19:00
阅读次数：
604
原文：http://www.zhihu.com/question/20822481相同1.本质相同：两种方法都是在给定已知数据（independent & dependent variables）的前提下对dependent variables算出出一个一般性的估值函数。然后对给定新数据的depen...
分类：
其他好文 时间：
2015-07-12 01:37:05
阅读次数：
219
原文：http://blog.csdn.net/qll125596718/article/details/8248249 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可...
分类：
编程语言 时间：
2015-07-12 00:03:50
阅读次数：
170
