1 import numpy as np 2 3 def SumSquareError(dataset,A): 4 # 输入目标数据集与假设曲线函数，计算误差平方和 5 # 数据形式 dataset[i] = [x,y]，y = hypfunc(x) 6 # A： 多项式...
分类：
编程语言 时间：
2015-07-31 23:26:16
阅读次数：
678
在讲完最小二乘（linear regression）和K近邻后，进入本节。引入符号：$X\in R^p$ X为维度为p的输入向量$Y\in R$ Y为输出，实数$P(X,Y)$ 为两者的联合概率分布$f(X)$ 为预测函数，给定X，输出Ya.使用squared error loss(L2)作为损失函...
分类：
其他好文 时间：
2015-07-28 12:17:08
阅读次数：
108
回答1：最大似然估计：现在已经拿到了很多个样本（你的数据集中所有因变量），这些样本值已经实现，最大似然估计就是去找到那个（组）参数估计值，使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经实现了，其发生概率最大才符合逻辑。这时是求样本所有观测的联合概率最大化，是个连乘积，只要取对数，就变成...
分类：
其他好文 时间：
2015-07-23 17:19:13
阅读次数：
519
摘自知乎：其实, 在计算量方面, 两者有很大的不同, 因而在面对给定的问题时, 可以有选择性的根据问题的性质选择两种方法中的一个.具体来说, 最小二乘法的矩阵公式是, 这里的 A 是一个矩阵, b 是一个向量. 如果有离散数据点,, 而想要拟合的方程又大致形如, 那么, A 就是一个的矩阵, 第 i...
分类：
其他好文 时间：
2015-07-22 22:36:17
阅读次数：
128
来源：http://blog.csdn.net/qll125596718/article/details/8248249 求a、b的值： #include #include #include using namespace std; class LeastSquare{ double a, b; p...
分类：
编程语言 时间：
2015-07-22 22:31:15
阅读次数：
219
《机器学习实战》第五章《Logistic回归》中讲到了梯度上升法，随机梯度上升法和改进的随机梯度上升法，下面把这几个算法思想总结一下。首先，梯度上升法比较简单，根据梯度上升的迭代公式计算出了回归系数。书中并没有采取最小二乘法之类的规则来作为迭代终止的条件，而是直接..
分类：
编程语言 时间：
2015-07-21 18:55:19
阅读次数：
241
1、牛顿迭代法
牛顿迭代法法是一种计算近似根算法，对于给定的复杂函数f(x)，常用来求该函数在给定初始值x0附近的近似根。该算法很简单，就是一个迭代的过程：
迭代终止条件可设为：
matlab代码实现：
function y=mulNewton(a,n,x0,eps1)
x(1)=x0;
b=1;
i=1;
while(norm(b)>e...
分类：
其他好文 时间：
2015-07-13 12:19:00
阅读次数：
604
原文：http://www.zhihu.com/question/20822481相同1.本质相同：两种方法都是在给定已知数据（independent & dependent variables）的前提下对dependent variables算出出一个一般性的估值函数。然后对给定新数据的depen...
分类：
其他好文 时间：
2015-07-12 01:37:05
阅读次数：
219
原文：http://blog.csdn.net/qll125596718/article/details/8248249 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可...
分类：
编程语言 时间：
2015-07-12 00:03:50
阅读次数：
170
