决策树内容来至于《统计学习与方法》李航,《机器学习》周志华,以及《机器学习实战》Peter HarringTon,相互学习,不足之处请大家多多指教！ 本卷的大纲为 1 CART 算法 1.1 CART 回归树 1.2 CART 分类树 2 CART 剪枝 3 总结 1 CART算法 CART分类与回 ...
分类：
其他好文 时间：
2017-10-09 21:06:19
阅读次数：
335
决策树(decision tree) 是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习 ...
分类：
其他好文 时间：
2017-10-07 19:43:10
阅读次数：
135
朴素贝叶斯(naive Bayes) 法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。 ...
分类：
其他好文 时间：
2017-10-01 12:25:30
阅读次数：
170
boosting 算法： 通过改变训练样本的权重，学习多个分类器，并将多个分类器线性组合，提升分类性能。（对于一个复杂任务，将多个专家的判断进行适当的综合得出的判断，要比任一一个单独的判断好） 将弱学习方法boost 为强学习算法。因为弱学习算法相对容易求得。提升算法就是从弱学习算法，出发反复学习， ...
分类：
其他好文 时间：
2017-09-10 13:28:15
阅读次数：
196
逻辑回归分类 1，概念 2，算法流程 3，多分类逻辑回归 4，逻辑回归总结 优点： 1）预测结果是界于0和1之间的概率； 2）可以适用于连续性和类别性自变量； 3）容易使用和解释； 缺点： 1）对模型中自变量多重共线性较为敏感，例如两个高度相关自变量同时放入模型，可能导致较弱的一个自变量回归符号不符 ...
分类：
其他好文 时间：
2017-09-03 17:08:56
阅读次数：
319
决策树分类 1，概念 2，决策树算法 2.1，特征选择： 熵：值越大，不确定性因素越大；条件熵：条件对结果的影响不确定性；信息增益；信息增益比 2.2，决策树生成算法 1，ID3算法 2，c4.5算法 3，实例说明 4，CART决策树算法 4.1 决策树生成 回归树生成 分类树生成 举个例子： 第一 ...
分类：
其他好文 时间：
2017-09-02 22:32:39
阅读次数：
182
朴素贝叶斯分类 1，基本概念 2，算法流程 关键点：理解先验概率，条件概率，最大后验概率，下面是以极大似然估计的 3，算法改进（贝叶斯估计） 上述用极大似然估计可能会出现所要估计的概率值为0的情况，改进方法: 先验概率贝叶斯估计：K表示类别数，λ为参数：0时为极大似然估计；1时为拉普拉斯平滑 条件概 ...
分类：
其他好文 时间：
2017-09-02 20:48:16
阅读次数：
184
统计学习方法由三个要素组成：方法=模型+策略+算法 模型是针对具体的问题做的假设空间，是学习算法要求解的参数空间。例如模型可以是线性函数等。 策略是学习算法学习的目标，不同的问题可以有不同的学习目标，例如经验风险最小化或者结构风险最小化。 经验风险最小化中常见的损失函数有：0-1损失函数、残差损失函 ...
分类：
其他好文 时间：
2017-08-31 16:46:53
阅读次数：
168
书接上文 ：从朴素贝叶斯分类器到贝叶斯网络（上） 三、贝叶斯网络贝叶斯网络（Bayesian Network）是一种用于表示变量间依赖关系的数据结构。有时它又被称为信念网络（Belief Network）或概率网络（Probability Network）。在统计学习领域。概率图模型（PGM，Pro ...
分类：
其他好文 时间：
2017-08-20 21:25:41
阅读次数：
347
