分类和逻辑回归 接下来讨论分类问题，类似于回归问题，只不过y的值只有少数离散的值。现在我们考虑二分类问题，此时y只有0和1两个值。 逻辑回归 构造假设函数$h_{\theta}(x)$: $h_{\theta}(x)=g(\theta^{(x)})=\frac{1}{1+e^{-\theta^{T} ...
分类：
其他好文 时间：
2016-08-03 22:15:12
阅读次数：
130
参看博文http://www.tuicool.com/articles/2qYjuy 逻辑回归的输出范围是[0,1]，根据概率值来判断因变量属于0还是属于1 实现过程分三步： indicated function指示函数 ...
分类：
其他好文 时间：
2016-07-31 17:36:01
阅读次数：
127
持续学习完善中~ 分类模型的构造方法有：决策树，关联规则，贝叶斯，神经网络，规则学习，k－临近法，遗传算法，粗糙集以及模糊逻辑技术。 朴素贝叶斯 利用概率统计知识进行分类的算法 最大化后验概率P(Ci|X)可转化为最大化先验概率P(X|Ci)P(Ci) 前提是各属性之间互相独立 逻辑回归 决策树SV ...
分类：
编程语言 时间：
2016-07-25 13:02:13
阅读次数：
440
首先，是由逻辑回归引到SVM当中。先回顾一下逻辑回归的知识。其实主要是sigmoid的函数不要搞错。
OK，既然是由逻辑回归引出来的，那么先列出逻辑回归的成本函数方程。然后对y为0和1分别进行画图讨论，形象化的图片如下。
根据上文的画图后的代表，成本函数就转变成如下的形式。
貌似下面就能直接写出SVM的成本方程了。下面只是对前面的系数进行的一些简单的变化。...
分类：
其他好文 时间：
2016-07-22 19:27:19
阅读次数：
157
机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。梯度下降的目的是直接求解目标函数极小值，而牛顿法则变相地通过求解目标函数一阶导为零的参数值，进而求得目标函数最小值。在逻辑回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。...
分类：
其他好文 时间：
2016-07-16 07:02:38
阅读次数：
216
两种方法都是常见的分类算法，从目标函数来看，区别在于逻辑回归采用的是logistical loss，svm采用的是hinge loss。这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。SVM的处理方法是只考虑support vectors，也就是和分类最相 ...
分类：
其他好文 时间：
2016-07-15 23:58:50
阅读次数：
769
逻辑回归信用评分、广告点击率预估、推荐预估中都有很重要的地位，转腾讯冯杨的一篇逻辑回归并行化的文章。...
分类：
其他好文 时间：
2016-07-13 16:32:21
阅读次数：
174
在讲义《线性回归、梯度下降》和《逻辑回归》中我们提到可以用梯度下降或梯度上升的方式求解θ。在本文中将讲解另一种求解θ的方法：牛顿方法（Newton's method）。 牛顿方法（Newton's method） 逻辑回归中利用Sigmoid函数g(z)和梯度上升来最大化?(θ)。现在我们讨论另一个 ...
分类：
其他好文 时间：
2016-07-12 19:20:11
阅读次数：
313
逻辑回归常用于分类问题，最简单诸如二分类问题：是否是垃圾邮件？比赛是赢是输？ 对于线性回归问题， z = w0*x0+w1*x1+w2*x2+... 一般的通过最小二乘法学习参数w来预测给定一个x值时z的大小，其值域在(-∞,+∞)，而对于分类问题，显然预测值是离散的，通过引入S函数先将值域y缩小到 ...
分类：
其他好文 时间：
2016-07-07 19:16:56
阅读次数：
921
卡方检验只能对两个分类变量之间是否存在联系进行检验，如果分类变量有多个水平的话，则无法衡量每个水平间的联系。对此，虽然可以使用逻辑回归进行建模，但是如果分类变量的水平非常多，就需要分别设定哑变量，这样对于操作和解释都非常繁琐。而对应分析则是专门解决上述问题的方法，它特别擅长对两个分类变量的多个水平之 ...
分类：
其他好文 时间：
2016-07-07 00:43:32
阅读次数：
1834
