1.模型
提升方法实际采用加法模型（即基函数的线性组合）与前向分布算法。以决策树为基函数的提升方法称为提升树（boosting tree)。对分类问题决策树是二叉分类树，对回归问题决策树是二叉决策树。提升树模型可以表示为决策树的加法模型：
其中，表示决策树；为决策树的参数；M为树的个数
2.学习过程
回归问题提升树使用以下前向分布算法：
在前向分布算法的第m步，给定当前模型，需求解...
分类：
其他好文 时间：
2016-04-19 19:43:45
阅读次数：
328
刚刚完成机器学习基石的第三讲，这一讲主要介绍了机器学习的分类，对何种问题应该使用何种机器学习方法。将笔记整理在下面。Learning with Different Output Space前面讲的信用卡发放问题是一个是非题，也就是说最后的输出只有两种，是一个二元分类（binary classification）。下图中给出了更多的二元分类问题的例子，对于这类问题我们要做的就是找到一个hypothes...
分类：
其他好文 时间：
2016-04-19 19:42:33
阅读次数：
132
Softmax回归 1. softmax回归模型 softmax回归模型是logistic回归模型在多分类问题上的扩展（logistic回归解决的是二分类问题）。 对于训练集，有。 对于给定的测试输入，我们相拥假设函数针对每一个类别j估算出概率值。也就是说，我们估计得每一种分类结果出现的概率。因此我 ...
分类：
其他好文 时间：
2016-04-19 17:31:32
阅读次数：
440
在关键词抽取研究中，最常用的一种方法就是通过计算一篇文档中词语的TF-IDF值（term frequency-inverse document frequency）,并对它们进行排序选取TopK个作为关键词，这是一种无监督的方法。另外一种方法是通过有监督的方法，通过训练学习一个分类器，将关键词抽取问题转化为对每个词语的二分类问题，从而选择出合适的关键词。
无监督和有监督各有各...
分类：
其他好文 时间：
2016-04-16 19:19:32
阅读次数：
317
机器学习总结之逻辑回归Logistic Regression 逻辑回归logistic regression，虽然名字是回归，但是实际上它是处理分类问题的算法。简单的说回归问题和分类问题如下： 回归问题：预测一个连续的输出。 分类问题：离散输出，比如二分类问题输出0或1. 逻辑回归常用于垃圾邮件分类... ...
分类：
其他好文 时间：
2016-04-14 17:31:14
阅读次数：
513
这几天完成了树回归的相关学习，这一部分内容挺多，收获也挺多，刚刚终于完成了全部内容，非常开心。
树回归这一章涉及了CART，CART树称作(classify and regression tree) 分类与回归树，既可以用于分类，也可以用于回归。这正是前面决策树没有说到的内容，在这里补充一下。正好也总结一下我们学的3种决策树。
ID3：用信息增益来选择特性进行分类，只能处理分类问题。缺点是往往...
分类：
其他好文 时间：
2016-04-09 00:23:43
阅读次数：
323
零、五个技巧 MECE分析法 本质上是分类问题，问题、原因、方案等等皆可用MECE分析法，以保证思考范围没有遗漏和重复 一维分类，二维分类 公式分析：销售额 = 单价 × 数量 思维定势（四笔连九点|拓展思考范围） 假设思考VS随时应对思考 零基础思考VS经验前提思考 其实还是MECE分析法 其他 ... ...
分类：
其他好文 时间：
2016-04-08 21:45:04
阅读次数：
347
逻辑回归、决策树和支持向量机 2015-12-03 CSDN大数据 CSDN大数据 分类问题是我们在各个行业的商业业务中遇到的主要问题之一。在本文中，我们将从众多技术中挑选出三种主要技术展开讨论，逻辑回归（Logistic Regression）、决策树（Decision Trees）和支持向量机（ ...
分类：
其他好文 时间：
2016-04-04 16:34:46
阅读次数：
342
一、分类的数学定义：
从数学角度来说，分类问题可做如下定义：
已知集合：和，确定映射规则，使得任意有且仅有一个使得成立。（不考虑模糊数学里的模糊集情况）。
其中C叫做类别集合，其中每一个元素是一个类别，而I叫做项集合，其中每一个元素是一个待分类项，f叫做分类器。分类算法的任务就是构造分类器f。
二、贝叶斯统计基础：
...
分类：
其他好文 时间：
2016-04-01 18:50:09
阅读次数：
117
