判定边界(Decision Boundary)
上一次我们讨论了一个新的模型——逻辑回归模型(Logistic Regression)，在逻辑回归中，我们预测：
当hø大于等于0.5时，预测y=1当hø小于0.5时，预测y=0
根据上面的预测，我们绘制出一条S形函数，如下：
根据函数图像，我们知道，当
z=0时，g(z)=0.5 z>0时，g(z)>0.5 ...
分类：
其他好文 时间：
2016-04-25 21:15:33
阅读次数：
601
============================================================================================
《机器学习实战》系列博客是博主阅读《机器学习实战》这本书的笔记，包含对其中算法的理解和算法的Python代码实现
另外博主这里有机器学习实战这本书的所有算法源代码和算法所用到的源文件，有需要的留言
=...
分类：
编程语言 时间：
2016-04-25 06:53:24
阅读次数：
287
重点归纳 回归分析就是利用样本（已知数据），产生拟合方程，从而（对未知数据）迚行预测用途：预测，判别合理性例子：利用身高预测体重；利用广告费用预测商品销售额；等等.线性回归分析：一元线性；多元线性；广义线性非线性回归分析困难：选定变量（多元），避免多重共线性，观察拟合方程，避免过度拟合，检验模型是否 ...
分类：
其他好文 时间：
2016-04-23 18:05:57
阅读次数：
340
多元线性回归的最小二乘解（无偏估计） 岭回归(Ridge Regression，RR) 当自变量间存在复共线性时，｜X′X｜≈0，我们设想给X′X加上一个正常数矩阵kI，（k＞0)， 那么X′X+kI接近奇异癿程度就会比X′X接近奇异癿程度小得多。岭回归做为β癿估计应比最小二乘估计稳定，当k=0时癿 ...
分类：
其他好文 时间：
2016-04-23 18:02:04
阅读次数：
128
1.数学 2.机器学习 Java 机器学习 工具 & 库 1.处理小数据效果好 2.深度学习—大数据，超过500w；图像，语言方面效果奇好 SVD 最小二乘法 梯度下降法 局部加权回归 1.最大似然估计 2.logistic回归 3.感知器的初步—logistic的简化情节 牛顿法 1.介绍了牛顿方 ...
分类：
其他好文 时间：
2016-04-23 11:53:53
阅读次数：
699
形式：
采用sigmoid函数：g(z)=11+e?zg(z)=\frac{1}{1+e^{-z}}
其导数为g′(z)=(1?g(z))g(z)g^\prime(z)=(1-g(z))g(z)
假设：
即：
若有m个样本，则似然函数形式是：
对数形式：
采用梯度上升法求其最大值
求导：
更新规则为：
可以发现，则个规则形式上和LMS更新规则是一样...
分类：
编程语言 时间：
2016-04-22 19:32:34
阅读次数：
314
在讨论逻辑回归问题(Logistic Regression)之前，我们先讨论一些实际生活中的情况：判断一封电子邮件是否是垃圾邮件？判断一次交易是否是欺诈交易？判断一份文件是否是有效文件？这类问题，我们称之为分类问题(Classication Problem)。在分类问题中，我们往往尝试去预测的结果是否属于某一个类（正确活错误）。
我们从二元的分类问题开始讨论，即问题是正确或错误的。
我们将因变...
分类：
其他好文 时间：
2016-04-22 19:27:45
阅读次数：
118
逻辑回归是一个形式是Y=1/(1+E(-X))的函数，它的特点是： 1， 当X>0，随着X增大，Y很快的接近1； 2，当x<0，随着X的减小，Y很快的接近0； 3，当X=0时，Y=1/2。 由于逻辑回归的这种特性（在0-1之间连续），它被用来判断一个学习算法是否正确。 除了正确和不正确的结果之外，使... ...
分类：
其他好文 时间：
2016-04-21 01:28:32
阅读次数：
166
（一）生成学习算法 在线性回归和Logistic回归这种类型的学习算法中我们探讨的模型都是p(y|x;θ)，即给定x的情况探讨y的条件概率分布。如二分类问题，不管是感知器算法还是逻辑回归算法，都是在解空间中寻找一条直线从而把两种类别的样例分开，对于新的样例，只要判断在直线的哪一侧即可；这种直接对问题 ...
分类：
编程语言 时间：
2016-04-21 01:15:01
阅读次数：
538
逻辑回归(logistic-regression)之梯度下降法详解
逻辑回归常用于预测疾病发生的概率，例如因变量是是否恶性肿瘤，自变量是肿瘤的大小、位置、硬度、患者性别、年龄、职业等等（很多文章里举了这个例子，但现代医学发达，可以通过病理检查，即获取标本放到显微镜下观察是否恶变来判断）；广告界中也常用于预测点击率或者转化率(cvr/ctr)，例如因变量是是否点击，自变量是物料的长、宽、广告的位置...
分类：
其他好文 时间：
2016-04-19 19:58:03
阅读次数：
1139
