CART和C4.5决策树有什么区别？1.C4.5算法是在ID3算法的基础上采用信息增益率的方法选择测试属性。 ID3算法和C4.5算法虽然在对训练样本集的学习中可以尽可能多地挖掘信息，但其生成的决策树分支较大，规模较大。为了简化决策树的规模，提高生成决策树的效率，又出现了根据GINI系数来选择测试属...
分类：
其他好文 时间：
2015-06-28 11:13:15
阅读次数：
222
Naive Bayes (朴素贝叶斯) 属于监督学习算法, 它通过计算测试样本在训练样本各个分类中的概率来确定测试样本所属分类, 取最大概率为其所属分类.优点在数据较少的情况下仍然有效,可以处理多类别问题缺点对输入数据的准备方式较为敏感适用数据类型标称型基础概念1. 条件概率P(A|B)表示事件B已...
分类：
其他好文 时间：
2015-06-27 19:44:26
阅读次数：
115
cvBoostStartTraining
*
* 该函数的作用是在第一个弱分类器训练时，初始化训练过程，计算特征值，并初始化样本权重
*
* 参数含义如下：
* trainClasses
* 它是训练样本类的向量，每个元素要么是0，要么是1；而且数据0,1的数据烈性必须是CV_32FC1，即32位浮点型单通道的类型
* weakTrainVals
* 第一个训练好的弱分类器的响应值，数据类型是CV_32FC1.
* 注：响应值，我的理解是正负样本在该弱分...
分类：
其他好文 时间：
2015-06-26 11:11:03
阅读次数：
130
MPI 是“Message Passing Interface”的缩写，通常用来做单机多线程的并发编程。
1. GibbsLDA++中训练框架大致如下：
循环：训练过程迭代N次
{
循环：遍历每一个训练样本（指doc）
{
循环：遍历训练样本中的每一个word
{
循环：gibbs采样过...
分类：
其他好文 时间：
2015-06-21 18:33:37
阅读次数：
237
根据李航博士总结的统计学习三要素方法=模型+策略+算法，对应于逻辑回归
模型=基于单极型函数(逻辑函数)的条件概率模型
策略=经验损失对应的训练样本先验概率最大化
算法=随机梯度上升法
逻辑回归MATLAB代码比较简单，如下所示，循环对所有的样本，进行梯度上升算法
function [w]=LogisticRegression(x,y,learningRate,m...
分类：
编程语言 时间：
2015-06-21 09:28:53
阅读次数：
624
聚类算法，无监督学习的范畴，没有明确的类别信息。 给定n个训练样本{x1，x2，x3，...，xn} kmeans算法过程描述如下所示：1.创建k个点作为起始质心点，c1，c2，...，ck2.重复以下过程直到收敛 遍历所有样本xi 遍历所有质心cj 记录质心与...
分类：
其他好文 时间：
2015-06-19 18:35:39
阅读次数：
187
Linear Classification在上一讲里，我们介绍了图像分类问题以及一个简单的分类模型K-NN模型，我们已经知道K-NN的模型有几个严重的缺陷，第一就是要保存训练集里的所有样本，这个比较消耗存储空间；第二就是要遍历所有的训练样本，这种逐一比较的方式比较耗时而低效。现在，我们要介绍一种更加强大的图像分类模型，这个模型会很自然地引申出神经网络和Convolutional Neural Net...
分类：
Web程序 时间：
2015-06-17 21:33:53
阅读次数：
174
STL-10 dataset STL-10为了发展无监督特征学习、深度学习、自我学习算法而建立的图片识别数据集。受CIFAR10数据集的启发，但做了一些修正。每一类有比CIFAR10更少的标定的训练样本，但有非常大的未标记样本在进行监督训练前提供给模型。主要的挑战在于好好利用未标记的数据（来源类似....
分类：
其他好文 时间：
2015-06-15 23:34:58
阅读次数：
1699
前话:最近一直想学机器学习的东西,无奈自己的书太多但无法专心看一本,纯理论的东西看了感觉不记下来就忘记类,所以我想理论学习和实践一起.所以最近想把机器学习实战这本书看完,并做好记录.加油.!~一:什么是监督学习?监督学习（supervised learning）：通过已有的训练样本（即已知数据以及其...
分类：
其他好文 时间：
2015-06-15 21:43:04
阅读次数：
52040
机器学习主要分为有监督学习和无监督学习两种。接下来我详细的给大家介绍一下这两种方法的概念和区别。监督学习（supervised learning）：通过已有的训练样本（即已知数据以及其对应的输出）来训练，从而得到一个最优模型，再利用这个模型将所有新的数据样本映射为相应的输出结果，对输出结果进行简单的...
分类：
其他好文 时间：
2015-06-12 16:48:51
阅读次数：
115
