二类分类器svm 的loss function 是 hinge loss：L(y)=max(0,1-t*y),t=+1 or -1,是标签属性. 对线性svm，y=w*x+b，其中w为权重，b为偏置项，在实际优化中，w,b是待优化的未知，通过优化损失函数，使得loss function最小，得到优化...
分类：
其他好文 时间：
2014-09-15 14:08:08
阅读次数：
229
logistic回归又称logistic回归分析，主要在流行病学中应用较多，比较常用的情形是探索某疾病的危险因素，根据危险因素预测某疾病发生的概率。相关DEMO参见:混沌数学之离散点集图形DEMOlogistic的用途： 一、寻找危险因素，正如上面所说的寻找某一疾病的危险因素等。 二、预测...
分类：
其他好文 时间：
2014-09-15 12:36:58
阅读次数：
233
要解决的问题是，给出了具有2个特征的一堆训练数据集，从该数据的分布可以看出它们并不是非常线性可分的，因此很有必要用更高阶的特征来模拟。例如本程序中个就用到了特征值的6次方来求解。DataTo begin, load the files 'ex5Logx.dat' and ex5Logy.dat' i...
分类：
其他好文 时间：
2014-09-13 11:50:55
阅读次数：
226
机器学习(4)之Logistic回归1. 算法推导 与之前学过的梯度下降等不同，Logistic回归是一类分类问题，而前者是回归问题。回归问题中，尝试预测的变量y是连续的变量，而在分类问题中，y是一组离散的，比如y只能取{0,1}。 假设一组样本为这样如图所示，如果需要用线性回归来拟合这些样本...
分类：
其他好文 时间：
2014-09-11 23:45:12
阅读次数：
348
之前我们在求Logistic回归时，用的是梯度上升算法，也就是要使得似然函数最大化，利用梯度上升算法，不断的迭代。这节课引出牛顿方法，它的作用和梯度上升算法的一样的，不同的是牛顿方法所需的迭代次数更少，收敛速度更快。红色曲线是利用牛顿法迭代求解，绿色曲线是利用梯度下降法求解。牛顿法：wiki牛顿法（...
分类：
其他好文 时间：
2014-09-10 15:30:40
阅读次数：
317
机器学习问题分为分类和回归问题 回归问题，就是预测连续型数值，而不像分类问题，是预测离散的类别 至于这类问题为何称为回归regression，应该就是约定俗成，你也解释不通 比如为何logistic regression叫逻辑回归，明明解决的是分类问题，而且和逻辑没有半点关系 谈到回归，最简单的就是...
分类：
其他好文 时间：
2014-09-05 17:45:41
阅读次数：
361
这篇日志也确实是有感而发，我对R不熟悉，但实验需要，所以简单学了一下。发现无论是网上无数的教程，还是书本上的示例，在讲Logistic Regression的时候就是给一个简单的函数及输出结果说明。从来都没有讲清楚几件事情：
1. 怎样用训练数据训练模型，然后在测试数据上进行验证（测试数据和训练数据可能有重合）？
2. 怎样计算预测的效果，也就是计算Recall，Precision，F...
分类：
其他好文 时间：
2014-09-03 22:46:07
阅读次数：
939
印象笔记同步分享：Machine Learning—Classification and logistic regression...
分类：
其他好文 时间：
2014-09-01 19:41:34
阅读次数：
144
一、逻辑回归（LogisticRegression） Logistic regression （逻辑回归）是当前业界比较常用的机器学习方法，用于估计某种事物的可能性。之前在经典之作《数学之美》中也看到了它用于广告预测，也就是根据某广告被用户点击的可能性，把最可能被用户点击的广告摆在用户能看到的地.....
分类：
其他好文 时间：
2014-08-18 23:28:23
阅读次数：
378
Logisticregression（逻辑回归）是当前业界比较常用的机器学习方法，用于估计某种事物的可能性。比如某用户购买某商品的可能性，某病人患有某种疾病的可能性，以及某广告被用户点击的可能性等。（注意这里是：“可能性”，而非数学上的“概率”，logisitc回归的结果并非数学定义中的概率值，不可...
分类：
其他好文 时间：
2014-08-15 20:56:49
阅读次数：
333
