2.1 模型表示 之前的房屋交易问题为例，假使我们回归问题的训练集（Training Set）如下表所示： 我们将要用来描述这个回归问题的标记如下: m 代表训练集中实例的数量 x 代表特征/输入变量 y 代表目标变量/输出变量 (x,y) 代表训练集中的实例 (x(i),y(i) ) 代表第 i ...
分类：
其他好文 时间：
2016-04-26 12:15:17
阅读次数：
193
判定边界(Decision Boundary)
上一次我们讨论了一个新的模型——逻辑回归模型(Logistic Regression)，在逻辑回归中，我们预测：
当hø大于等于0.5时，预测y=1当hø小于0.5时，预测y=0
根据上面的预测，我们绘制出一条S形函数，如下：
根据函数图像，我们知道，当
z=0时，g(z)=0.5 z>0时，g(z)>0.5 ...
分类：
其他好文 时间：
2016-04-25 21:15:33
阅读次数：
601
多元线性回归的最小二乘解（无偏估计） 岭回归(Ridge Regression，RR) 当自变量间存在复共线性时，｜X′X｜≈0，我们设想给X′X加上一个正常数矩阵kI，（k＞0)， 那么X′X+kI接近奇异癿程度就会比X′X接近奇异癿程度小得多。岭回归做为β癿估计应比最小二乘估计稳定，当k=0时癿 ...
分类：
其他好文 时间：
2016-04-23 18:02:04
阅读次数：
128
形式：
采用sigmoid函数：g(z)=11+e?zg(z)=\frac{1}{1+e^{-z}}
其导数为g′(z)=(1?g(z))g(z)g^\prime(z)=(1-g(z))g(z)
假设：
即：
若有m个样本，则似然函数形式是：
对数形式：
采用梯度上升法求其最大值
求导：
更新规则为：
可以发现，则个规则形式上和LMS更新规则是一样...
分类：
编程语言 时间：
2016-04-22 19:32:34
阅读次数：
314
在讨论逻辑回归问题(Logistic Regression)之前，我们先讨论一些实际生活中的情况：判断一封电子邮件是否是垃圾邮件？判断一次交易是否是欺诈交易？判断一份文件是否是有效文件？这类问题，我们称之为分类问题(Classication Problem)。在分类问题中，我们往往尝试去预测的结果是否属于某一个类（正确活错误）。
我们从二元的分类问题开始讨论，即问题是正确或错误的。
我们将因变...
分类：
其他好文 时间：
2016-04-22 19:27:45
阅读次数：
118
逻辑回归(logistic-regression)之梯度下降法详解
逻辑回归常用于预测疾病发生的概率，例如因变量是是否恶性肿瘤，自变量是肿瘤的大小、位置、硬度、患者性别、年龄、职业等等（很多文章里举了这个例子，但现代医学发达，可以通过病理检查，即获取标本放到显微镜下观察是否恶变来判断）；广告界中也常用于预测点击率或者转化率(cvr/ctr)，例如因变量是是否点击，自变量是物料的长、宽、广告的位置...
分类：
其他好文 时间：
2016-04-19 19:58:03
阅读次数：
1139
上一次我们分享了多变量线性回归模型(Linear Regression with Multiple Variables)，这一次我们来讨论一下多项式回归(Polynomial Regression)
和正规方程(Normal Equation)。（我们还是讨论房价预测的问题）
多项式回归
有时候，线性回归并不适用于所有全部的数据，我们需要曲线来适应我们的数据，比如一个二次方模型：
...
分类：
其他好文 时间：
2016-04-19 19:46:31
阅读次数：
151
1. 正则化概述（Regularization） 监督学习可以简单的理解为在最小化loss function 的同时，保证模型的复杂度尽可能的低，防止出现过拟合（overfitting）。常用的loss函数有square loss(Regression)，Hinge Loss(SVM)，exp-lo... ...
分类：
其他好文 时间：
2016-04-15 21:31:38
阅读次数：
275
机器学习总结之逻辑回归Logistic Regression 逻辑回归logistic regression，虽然名字是回归，但是实际上它是处理分类问题的算法。简单的说回归问题和分类问题如下： 回归问题：预测一个连续的输出。 分类问题：离散输出，比如二分类问题输出0或1. 逻辑回归常用于垃圾邮件分类... ...
分类：
其他好文 时间：
2016-04-14 17:31:14
阅读次数：
513
假设你在项目的'2.6.18'版上面工作, 但是你当前的代码(master)崩溃(crash)了. 有时解决这种问题的最好办法是: 手工逐步恢复(brute-force regression)项目历史, 找出是哪个提交(commit)导致了这个问题. 但是 linkgit:git-bisect1 可 ...
分类：
其他好文 时间：
2016-04-12 19:26:10
阅读次数：
119
