学习排序算法（二）：Pairwise方法之RankNet
前面一篇博文介绍的Ranking SVM是把LTR问题转化为二值分类问题，而RankNet算法是从另外一个角度来解决，那就是概率的角度。
1. RankNet的基本思想
RankNet方法就是使用交叉熵作为损失函数，学习出一些模型（例如神经网络、决策树等）来计算每个pair的排序得分，学习模型的过程可以使用梯度下降法。...
分类：
编程语言 时间：
2014-12-24 16:21:32
阅读次数：
1832
在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的，不过后面也会介绍它与...
分类：
其他好文 时间：
2014-12-18 16:54:12
阅读次数：
290
转载请注明原地址：http://www.cnblogs.com/connorzx/p/4170047.html提出原因基于余弦定理对文本和词汇的处理需要迭代的次数太多（具体见14章笔记），为了找到一个一步到位的办法，可以使用奇异值分解（SVD分解）算法实现建立一个M-by-N的矩阵A，其中行表示M篇...
分类：
其他好文 时间：
2014-12-17 20:22:05
阅读次数：
154
分类问题也可以用降维来理解，比如一个D维的数据点x，我们可以采用下面的映射进行线性的降维，y=θTx在计算出y后，就可以选择一个阈值h,来进行分类。正如我们在前面的PCA模型中看到的，降维会有信息的损失，可能会在降维过程中，丢失使数据可分的特征，导致分类的效果不理想。那采用什么样的降维方式，可以尽量...
分类：
其他好文 时间：
2014-12-13 23:16:17
阅读次数：
329
第三讲介绍了不同类型的机器学习问题，根据4个方面划分：输出空间，标签，方式，输入空间。1. 根据输出空间y不同划分：通过变换y的种类，可得到不同的机器学习问题 （1）y = {+1, -1}：二元分类问题，类似于做是非题，机器学习的基础。 （2）y = {0, 1, 2, ..., k}：k元分.....
分类：
其他好文 时间：
2014-12-11 15:44:30
阅读次数：
233
logistic回归一般用于二分类问题，比如判断一封邮件是否为垃圾邮件，判断照片中的人是男是女，预测一场比赛输还是赢......当然也可以用于多分类问题，比如k类别，就进行k次logistic回归。logistic回归算法之所以称作“logistic”，是因为它运用了logistic函数，即sigmoid函数。
logistic回归算法一般用于二分类问题（当然也可以多类别，后面会讲）。
logistic回归的算法思想：
重点在于怎么根据训练数据求得最佳拟合参数Θ？这可以用最优化算法来求解，比如常用的梯度上升...
分类：
编程语言 时间：
2014-12-10 14:18:25
阅读次数：
502
之前写过一篇blog叫做机器学习实战笔记之非均衡分类问题：http://blog.csdn.net/lu597203933/article/details/38666699其中对Precision和Recall及ROC都有所讲解，其中区别在于Precision,Recall, F-score,
MAP主要用于信息检索，而ROC曲线及其度量指标AUC主要用于分类和识别，ROC的详细介绍见上面的b...
分类：
其他好文 时间：
2014-12-08 14:01:53
阅读次数：
448
分类算法与我们的生活息息相关，也是目前数据挖掘中应用最为广泛的算法，如：已知系列的温度、湿度的序列和历史的是否下雨的统计，我们需要利用历史的数据作为学习集来判断明天是否下雨；又如银行信用卡诈骗判别。
分类问题都有一个学习集，根据学习集构造判别函数，最后根据判别函数计算我们所需要判别的个体属于哪一类的。
常见的分类模型与算法
传统方法
1、线性判别法；2、距离判别法；3、贝叶斯分类器；
现...
分类：
编程语言 时间：
2014-12-08 10:44:59
阅读次数：
409
AdaBoost（自适应boosting，adaptive boosting）算法算法优缺点：优点：泛化错误率低，易编码，可用在绝大部分分类器上，无参数调整缺点：对离群点敏感适用数据类型：数值型和标称型元算法（meta algorithm）在分类问题中，我们可能不会只想用一个分类器，我们会考虑将分类...
分类：
编程语言 时间：
2014-12-04 00:55:58
阅读次数：
399
前面两个系列分别讲诉了SVM的基本原理和代码实现，如何解决线性不可分情况。这一次我们讲解一下SVM的最后一篇：SVM解决多类分类问题。...
分类：
其他好文 时间：
2014-12-02 17:22:52
阅读次数：
244
