线性模型回顾
我们回顾一下之前的三种线性模型，它们的共同点是都要对输入的数据x做一个加权的分数s。
下图表示了这三种不同的线性模型的表示方式、误差函数和求解最小的Ein的方法。
这里可以看出，PLA算法这种线性分类模型，在求解Ein的时候是很困难的，相对而言，线性回归和logistic回归都有各自求解Ein的方法，那么我们能不能用这两种回归的计算方法来帮助...
分类：
其他好文 时间：
2015-01-13 21:34:53
阅读次数：
852
MLlib支持二分类，多酚类和回归分析的多种方法，具体如下：问题类别 支持方法二分类线性支持向量机， 逻辑回归，决策树，朴素贝叶斯多分类决策树，朴素贝叶斯回归线性最小二乘，Lasso，ridge regression， 决策树线性模型二分类（支持向量机， 逻辑回归）线性回归（最小二乘，Lasso，....
分类：
其他好文 时间：
2015-01-13 15:39:08
阅读次数：
469
soft binary classification
Logistics回归模型要解决的是分类问题，在之前的二元分类问题中，我们将数据分成正例和负例，但是像PLA算法一样，用单位阶跃函数来处理的这种瞬间跳跃的过程有时很难处理。于是，我们希望能得到正例的概率值是多少。
logistic regression的假设
我们在PLA和线性回归算法中都用数据的加权来计算一个分数...
分类：
其他好文 时间：
2015-01-11 17:50:58
阅读次数：
6277
线性回归描述
线性回归问题就是要找出一个最好超平面使得数据点距离这个平面的误差(residuals)最小。
传统上，最常用的是均方误差来评价这个误差。
求解最小的训练误差
现在我们要做的是如何选择参数w，使得训练误差Ein越小越好。
首先，我们把计算过程用矩阵形式表示出来，使表示更加简洁。
这里xn表示成列向量的形式，然后将加和的形式表示成向量的长度，进而将...
分类：
其他好文 时间：
2015-01-08 09:39:25
阅读次数：
255
理论和公式请看网易公开课中Andrew Ng的机器学习，或者coursera中Andrew Ng的机器学习对于多元线性回归要拟合最好的直线，要使得误差平方和最小，课本上的方法都是求偏导，并使其为0，然后求解线性方程组。但是还有很多其他方法可以达到上述效果，Andrew在大样本和小样本的情况下给出了两...
分类：
其他好文 时间：
2015-01-06 19:59:23
阅读次数：
746
前言 前文讨论的回归算法都是全局且针对线性问题的回归，即使是其中的局部加权线性回归法，也有其弊端(具体请参考前文：) 采用全局模型会导致模型非常的臃肿，因为需要计算所有的样本点，而且现实生活中很多样本都有大量的特征信息。 另一方面，实际生活中更多的问题都是非线性问题。 针对这些问题，有了树回...
分类：
编程语言 时间：
2015-01-05 18:05:58
阅读次数：
241
前言 本文将系统的介绍机器学习中监督学习的回归部分，系统的讲解如何利用回归理论知识来预测出一个分类的连续值。 显然，与监督学习中的分类部分相比，它有很鲜明的特点：输出为连续值，而不仅仅是标称类型的分类结果。基本线性回归解决方案 - 最小二乘法 “给出一堆散点，求出其回归方程。" -> 对于这个...
分类：
其他好文 时间：
2015-01-04 22:58:24
阅读次数：
335
Y1 X1 Y2 X2 Y3 X3 Y4 X48.04 10 9.14 10 7.46 10 6.58 86.95 8 8.14 8 6.77 8 5.76 87.58 ...
分类：
其他好文 时间：
2015-01-02 19:54:23
阅读次数：
230
zaish上一节讲了线性回归中L2范数的应用，这里继续logistic回归L2范数的应用。 先说一下问题：有一堆二维数据点，这些点的标记有的是1，有的是0.我们的任务就是制作一个分界面区分出来这些点。如图（标记是1的样本用+表示，0的用红点表示）： 这其实是一个二分类问题，然后我们就想到了logis...
分类：
其他好文 时间：
2014-12-27 15:07:33
阅读次数：
293
