(1) How to comput the Cost function in Univirate/Multivariate Linear Regression;(2) How to comput the Batch Gradient Descent function in Univirate/Mul...
分类：
系统相关 时间：
2015-06-24 10:55:27
阅读次数：
546
MNIST是一套对手写数字进行识别的数据集：http://yann.lecun.com/exdb/mnist/MNIST的数据结构官网上已给出，挺奇葩的-.-，所以第一件事是把数据整理出来我写了个脚本帮我整理，输出的是一坨文本文件，【其中image是用灰度矩阵表示，每个像素1字节，每张图28x28 ...
分类：
其他好文 时间：
2015-06-21 18:29:51
阅读次数：
169
分类模型如下： 回归问题：学习的结果是连续的，比如房价等等
分类问题：学习的结果是非连续的，分成某几个类
梯度下降例子：
：条件：
对于输入X有n个特征值。X = {x1,x2,x3,x4,.......,xnx_1, x_2, x_3, x_4, ....... ,x_n}
一共有m组输入。X1,X2,......,XmX_1, X_2, ...... , X_m
结果：
根据给出的数据得到函数...
分类：
其他好文 时间：
2015-06-20 17:06:49
阅读次数：
207
http://blog.csdn.net/abcjennifer/article/details/8164315本文从统计学角度讲解了CART（Classification And Regression Tree）, Bagging(bootstrap aggregation), Random Fo...
分类：
其他好文 时间：
2015-06-20 17:04:28
阅读次数：
150
分类模型如下： 回归问题：学习的结果是连续的，比如房价等等
分类问题：学习的结果是非连续的，分成某几个类
回归问题(Regression)例子：
：条件：
对于输入X有n个特征值。X = {x1,x2,x3,x4,.......,xnx_1, x_2, x_3, x_4, ....... ,x_n}
一共有m组输入。X1,X2,......,XmX_1, X_2, ...... , X_m
结果：...
分类：
其他好文 时间：
2015-06-19 10:40:03
阅读次数：
180
LR回顾
LR是机器学习入门的第一道坎，总结一下，Linear Regression 和logistic Regression都是属于GLM，套了logistic之后，输出结果就变成一个概率了，loss function和 likelihood function取反是类似的东西，都可以作为优化的目标。但我感觉 likelihood
function从概率统计上来说，更有理论支持吧。loss ...
分类：
其他好文 时间：
2015-06-15 00:19:46
阅读次数：
465
逻辑分布（Logistic distribution）公式 P(Y=1│X=x)=exp(x‘β)/(1+exp(x‘β)) 其中参数β常用极大似然估计。 Logit模型是最早的离散选择模型，也是目前应用最广的模型。 Logit模型的应用广泛性的原因主要是因为其...
分类：
其他好文 时间：
2015-06-11 09:40:08
阅读次数：
133
鲁棒局部加权回归算法参考文献：（1） Robust Locally Weighted Regression and Smoothing Scatterplots (Willism_S.Cleveland)（2） 数据挖掘中强局部加权回归算法实现 (虞乐,肖基毅)R实现#Robust Locally ...
分类：
其他好文 时间：
2015-06-09 15:21:42
阅读次数：
494
线性回归容易出现过拟合或欠拟合的问题。局部加权线性回归是一种非参数学习方法，在对新样本进行预测时，会根据新的权值，重新训练样本数据得到新的参数值，每一次预测的参数值是不相同的。权值函数：t用来控制权值的变化速率（建议对于不同的样本，先通过调整t值确定合适的t）不同t值下的权值函数图像：局部加权线性回...
分类：
其他好文 时间：
2015-06-07 18:41:19
阅读次数：
4194
Linear Regression with One Variablemodel Representation以上篇博文中的房价预测为例，从图中依次来看，m表示训练集的大小，此处即房价样本数量；x表示输入变量或feature（特征），此处即房子面积；y是输出变量或目标变量，此处即房子价格。（x，y）...
分类：
系统相关 时间：
2015-06-07 06:10:54
阅读次数：
214
