介绍在这篇文章中，我们讨论主成分分析（PCA）是如何工作的，以及它如何被用来作为分类问题的降维技术。在这篇文章的末尾，出于证明的目的提供了Matlab源代码。在前面的文章中，我们讨论了所谓的维数诅咒，表明在高维空间分类器倾向于过度拟合训练数据。接下来产生的问题是哪些特征应该保留，哪些应该从高维特征向量中删除。如果此特征向量的所有特征是统计独立的，可以简单地从这个向量中消除最小的判别特征。通过各种贪婪...
分类：
其他好文 时间：
2015-05-22 17:07:33
阅读次数：
2951
【原创】Liu_LongPo 转载请注明出处
【CSDN】http://blog.csdn.net/llp1992softmax 回归模型，是logistic 回归模型在多分类问题上的推广。关于logistic回归算法的介绍，前面博客已经讲得很清楚，详情可以参考博客机器学习实战ByMatlab（五）Logistic Regression 在logistic回归模型中，我们的激励函数sigmoid的...
分类：
编程语言 时间：
2015-05-17 15:21:26
阅读次数：
401
推理和决策 我们已经将分类问题分成两个独立的阶段，推理阶段，我们使用训练数据来学习p（Ck| x）的模型，在随后的决策阶段，我们使用这些后验概率做出最优分类任务。另一种可能性是一起解决这两个问题，简单学习一个直接映射输入x到决策的函数。这样的函数被叫做判别函数。
事实上，我们可以找出三种不同的方法来解决决策问题，所有这些都被用于实际应用。
（a）首先对于每一个类Ck解决确定条件为类的密度p...
分类：
其他好文 时间：
2015-05-14 10:11:46
阅读次数：
219
决策论 我们已经在1.2节看到概率论如何为我们提供了对量化和操作不确定性的一个一致数学框架。这里，我们转向决策论的讨论，当它与概率论结合时，使得我们在涉及模式识别中遇到的不确定性情况下可以做出最优决策。
假设我们有一个输入向量x以及相应的目标向量t，我们的目标是给出x的新值来预测t。对于回归问题，t由连续变量组成，而对于分类问题，t代表类标签。联合概率分布p（x，t）提供了与这些变量相关的不...
分类：
其他好文 时间：
2015-05-12 15:51:06
阅读次数：
159
引言 SVM做二分类问题很简单明了，但是如何用二分类构建多分类问题，自己查找了部分资料，发现普遍分为两种，一种是直接法，直接求解多目标函数优化问题，但这种方法计算量很大，不实用，另外一种是间接法，通过多个二分类来实现多分类，常见的有一对多和一对一两种 最后针对一对一要构建n平方个二分类器，如果n.....
分类：
其他好文 时间：
2015-04-28 16:00:03
阅读次数：
250
引言 支持向量机在很多地方都能遇到，主要是用于分类问题，而且简单粗暴，所以也很多人用，但对其深层次原理性的探讨至始至终看到过的资料中觉得林轩田老师讲的非常地到位，另外还有一个参考资料就是v_july_v写的SVM的三重境界，但july写的太多了，可能看起来比较吃力，所以挑选了这些文档以及课程中重要的...
分类：
其他好文 时间：
2015-04-27 18:07:27
阅读次数：
406
http://www.matlabsky.com/thread-9471-1-1.htmlSVM算法最初是为二值分类问题设计的，当处理多类问题时，就需要构造合适的多类分类器。目前，构造SVM多类分类器的方法主要有两类：一类是直接法，直接在目标函数上进行修改，将多个分类面的参数求解合并到一个最优化问题...
分类：
其他好文 时间：
2015-04-22 21:54:38
阅读次数：
149
朴素贝叶斯(Naive Bayes)适用于离散特征的分类问题，对于连续问题则需将特征离散化后使用。朴素贝叶斯有多元伯努利事件模型和多项式事件模型，在伯努利事件模型中，特征每一维的值只能是0或1，而多项式模型中特征每一维的值可取0到N之间的整数，因此伯努利模型是多项式模型的一种特例，下面的推导就直.....
分类：
其他好文 时间：
2015-04-21 17:30:50
阅读次数：
213
Logistic Regression
之前我们讨论过回归问题，并且讨论了线性回归模型。现在我们来看看分类问题，分类问题与回归问题类似，只不过输出变量一个是离散的，一个是连续的。我们先关注二分类问题，假设
输出变量 yy 只能取 0 或者 1 两个值，直观上，对于所有的输入变量，我们都希望可以映射到 [0-1] 的范围内, 为此，我们可以建立如下的函数：
hθ(x)=g(θTx)=11+e?...
分类：
其他好文 时间：
2015-04-17 18:19:53
阅读次数：
277
贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类
对于分类问题，其实谁都不会陌生，每个人生活中无时不刻的在进行着分类。例如，走在大马路上看到女孩子，你会下意识的将她分为漂亮和不漂亮（漂亮当然就多看几眼啦）。在比如，在路上遇到一只狗，你会根据这只狗的毛发脏不脏，然后想到这是一只流浪狗还是家养的宠物狗。这些其实都是生活中的分类操作。
而贝叶斯分类是在生活中分类的...
分类：
编程语言 时间：
2015-04-17 11:30:47
阅读次数：
257
