1 Dynamic regression models 动态回归模型
前面的内容中要么只考虑了时间，要么只考虑了其他自变量的影响，这一节将考虑各个变量和时间的综合影响。
1.1 regression models+ ARIMA models
首先我们简单的将回归和Arima组合，做一个简单的动态回归模型。
其组合的方法和实质就是将回归模型中的误差项变为时间序列的ARIMA，也可以理解为下式...
分类：
其他好文 时间：
2016-05-03 18:42:58
阅读次数：
218
判定边界(Decision Boundary)
上一次我们讨论了一个新的模型——逻辑回归模型(Logistic Regression)，在逻辑回归中，我们预测：
当hø大于等于0.5时，预测y=1当hø小于0.5时，预测y=0
根据上面的预测，我们绘制出一条S形函数，如下：
根据函数图像，我们知道，当
z=0时，g(z)=0.5 z>0时，g(z)>0.5 ...
分类：
其他好文 时间：
2016-04-29 17:58:50
阅读次数：
145
先说下线性回归(直接上图)
如上图所示，根据肿瘤尺寸数据进行判断。设hypothesis函数为根据上图可以看出线性h(x)能够将上述数据进行有效分类，当h(x)>0.5,则为肿瘤患者，当h(x)
此时通过调整线性模型的参数后最终得到的线性模型为蓝色的直线，此时就会发现最右侧的红色叉号被预测成了正常，这显然是不合理的，并且后果是严重的（人家有病，你预测正常，影响治疗.....），...
分类：
其他好文 时间：
2016-04-29 15:44:22
阅读次数：
282
我们已经大概学习了用线性回归（Linear Regression）来解决一些预测问题，详见：
1.《机器学习笔记01：线性回归(Linear Regression)和梯度下降(Gradient Decent)》
2.《机器学习笔记02：多元线性回归、梯度下降和Normal equation》
3.《机器学习笔记03：Normal equation及其与梯度下降的比较》
面对一些类似回归...
分类：
其他好文 时间：
2016-04-28 01:56:56
阅读次数：
510
1. 问题 这节我们请出最后的有关成分分析和回归的神器PLSR。PLSR感觉已经把成分分析和回归发挥到极致了，下面主要介绍其思想而非完整的教程。让我们回顾一下最早的Linear Regression的缺点：如果样例数m相比特征数n少（m<n）或者特征间线性相关时，由于（n*n矩阵）的秩小于特征个数（ ...
分类：
其他好文 时间：
2016-04-27 20:47:29
阅读次数：
314
2.1 模型表示 之前的房屋交易问题为例，假使我们回归问题的训练集（Training Set）如下表所示： 我们将要用来描述这个回归问题的标记如下: m 代表训练集中实例的数量 x 代表特征/输入变量 y 代表目标变量/输出变量 (x,y) 代表训练集中的实例 (x(i),y(i) ) 代表第 i ...
分类：
其他好文 时间：
2016-04-26 12:15:17
阅读次数：
193
判定边界(Decision Boundary)
上一次我们讨论了一个新的模型——逻辑回归模型(Logistic Regression)，在逻辑回归中，我们预测：
当hø大于等于0.5时，预测y=1当hø小于0.5时，预测y=0
根据上面的预测，我们绘制出一条S形函数，如下：
根据函数图像，我们知道，当
z=0时，g(z)=0.5 z>0时，g(z)>0.5 ...
分类：
其他好文 时间：
2016-04-25 21:15:33
阅读次数：
601
多元线性回归的最小二乘解（无偏估计） 岭回归(Ridge Regression，RR) 当自变量间存在复共线性时，｜X′X｜≈0，我们设想给X′X加上一个正常数矩阵kI，（k＞0)， 那么X′X+kI接近奇异癿程度就会比X′X接近奇异癿程度小得多。岭回归做为β癿估计应比最小二乘估计稳定，当k=0时癿 ...
分类：
其他好文 时间：
2016-04-23 18:02:04
阅读次数：
128
形式：
采用sigmoid函数：g(z)=11+e?zg(z)=\frac{1}{1+e^{-z}}
其导数为g′(z)=(1?g(z))g(z)g^\prime(z)=(1-g(z))g(z)
假设：
即：
若有m个样本，则似然函数形式是：
对数形式：
采用梯度上升法求其最大值
求导：
更新规则为：
可以发现，则个规则形式上和LMS更新规则是一样...
分类：
编程语言 时间：
2016-04-22 19:32:34
阅读次数：
314
在讨论逻辑回归问题(Logistic Regression)之前，我们先讨论一些实际生活中的情况：判断一封电子邮件是否是垃圾邮件？判断一次交易是否是欺诈交易？判断一份文件是否是有效文件？这类问题，我们称之为分类问题(Classication Problem)。在分类问题中，我们往往尝试去预测的结果是否属于某一个类（正确活错误）。
我们从二元的分类问题开始讨论，即问题是正确或错误的。
我们将因变...
分类：
其他好文 时间：
2016-04-22 19:27:45
阅读次数：
118
