线性拟合：对于y=a*x+b的形式a=(N*ΣXi*Yi-ΣXi*ΣYi)/(N*ΣXi*Xi-(ΣXi)2)b=((ΣXi*Xi)*(ΣYi)-(ΣXi)*(ΣXi*Yi))/(N*ΣXi*Xi-(ΣXi)2)利用Matlab自带函数可实现：拟合函数：pn=polyfit(x,y,n)返回pn系数向量，降阶排列，n为阶数函数：yy=polyval(pn,x)pn为降阶排列的多项式系..
分类：
其他好文 时间：
2015-03-03 18:46:25
阅读次数：
299
起源：决策树切分数据集决策树每次决策时，按照一定规则切分数据集，并将切分后的小数据集递归处理。这样的处理方式给了线性回归处理非线性数据一个启发。能不能先将类似特征的数据切成一小部分，再将这一小部分放大处理，使用线性的方法增加准确率呢？Part I: 树的枝与叶枝：二叉 or 多叉？ 在AdaBoos...
分类：
其他好文 时间：
2015-03-02 00:54:58
阅读次数：
229
引言
上一小节中，我们介绍了过拟合的概念，在机器学习中最大的危险就是过拟合，为了解决过拟合问题，通常有两种办法，第一是减少样本的特征（即维度），第二就是我们这里要说的“正则化”（又称为“惩罚”,penalty）。
从多项式变换和线性回归说起
在非线性变换小节中，我们有讨论Q次多项式变换的定义和其包含关系，这里如果是10次多项式变换，那么系数的个数是11个，而2次多项式的系数个数是...
分类：
其他好文 时间：
2015-03-01 22:24:47
阅读次数：
326
PartI起源：线性回归线性回归很常见，给你一堆点，作出一条直线，尽可能去拟合这些点。对于多维的数据，设特征为xi，设函数h（θ)=θ+θ1x1+θ2x2+.....为拟合的线性函数，其实就是内积，实际上就是y=Wx+b。那么如何确定这些θ参数（parament）才能保证拟合比较好呢？①确定目标函数...
分类：
其他好文 时间：
2015-02-17 23:34:21
阅读次数：
179
数据指标建模指的是，使用若干自变量并建立公式，以预测目标变量。如果研究的目标变量是连续型的，则称其为回归分析。一、一元线性回归分析data.lm|t|) (Intercept) 25.723456 1.043746 24.64 2.68e-12 ***weight 0.28...
分类：
编程语言 时间：
2015-02-06 20:15:46
阅读次数：
230
下面是一个典型的机器学习的过程，首先给出一个输入数据，我们的算法会通过一系列的过程得到一个估计的函数，这个函数有能力对没有见过的新数据给出一个新的估计，也被称为构建一个模型。就如同上面的线性回归函数。我们用X1，X2..Xn 去描述feature里面的分量，比如x1=房间的面积，x2=房间的朝向，等...
分类：
其他好文 时间：
2015-01-31 14:25:36
阅读次数：
191
一、广义线性模型概念 在讨论广义线性模型之前，先回顾一下基本线性模型，也就是线性回归。 在线性回归模型中的假设中，有两点需要提出： （1）假设因变量服从高斯分布：$Y={{\theta }^{T}}x+\xi $，其中误差项$\xi \sim N(0,{{\sigma }^{2}})$，那么因...
分类：
其他好文 时间：
2015-01-29 14:13:11
阅读次数：
523
Regularization能在一定程度上减少过拟合 在线性回归中，J(θ)修改为： 在逻辑回归中，J(θ)修改为： 不管是线性回归还是逻辑回归，梯度下降的计算公式都是：
分类：
其他好文 时间：
2015-01-28 18:09:20
阅读次数：
178
回归问题是根据一组特征(feature)，预测一个值，和分类问题不同，这个值是连续的，分类问题的预测值是离散的。 m：训练集的记录条数 x：训练集中的一条记录的输入变量部分，或者说特征值 y：训练集中的记录的输出...
分类：
其他好文 时间：
2015-01-28 13:13:19
阅读次数：
223
