gbdt（又称Gradient Boosted Decision Tree/Grdient Boosted Regression Tree），是一种迭代的决策树算法，该算法由多个决策树组成。它最早见于yahoo，后被广泛应用在搜索排序、点击率预估上。 xgboost是陈天奇大牛新开发的Boostin ...
分类：
其他好文 时间：
2016-10-10 20:42:34
阅读次数：
600
什么是决策树？为什么要用决策树？决策树是一种二分树，或是多分数。对于大量数据的细分工作有很大帮助。在日常生活中，决策树的算法可谓是每天都在用。小到用户分类，大到辅助决策。实际上他的使用很多。至于为什么要用到决策树，个人认为就是因为这种算法简单。代码实现起来..
分类：
编程语言 时间：
2016-10-09 20:55:38
阅读次数：
197
背景： 李航的《统计学习方法》一书中提到：决策树算法通常采用启发式算法，故了解之 问题解答： 时间有限，这里也只是将算法和启发式算法的区别和简单发展摘录如下： 一、算法和启发式方法之间的差别很微妙，两个术语的意思也有一些重叠。就本书的目的而言，它们之间的差别就在于其距离最终解决办法的间接程度：算法直 ...
分类：
编程语言 时间：
2016-10-07 13:40:00
阅读次数：
232
再看《MATLAB数据分析与挖掘实战》，简单总结下今天看到的经典的决策树算法——ID3. ID3：在决策树的各级节点上，使用信息增益的方法作为属性的选择标准，来帮助确定生成每个节点时所应采取的合适属性。 关于信息增益，知乎上这个回答也讲的很不错。信息增益=熵 - 条件熵，信息增益越大，说明该条件对事 ...
分类：
其他好文 时间：
2016-09-18 01:07:31
阅读次数：
231
版权声明：<—— 本文为作者呕心沥血打造，若要转载，请注明出处@http://blog.csdn.net/gamer_gyt <—— 版权声明：<—— 本文为作者呕心沥血打造，若要转载，请注明出处@http://blog.csdn.net/gamer_gyt <—— 目录(?)[+] 目录(?)[+ ...
分类：
编程语言 时间：
2016-09-08 14:41:21
阅读次数：
276
预测是非常困难的，更别提预测未来。 4.1 回归简介 随着现代机器学习和数据科学的出现，我们依旧把从“某些值”预测“另外某个值”的思想称为回归。回归是预测一个数值型数量，比如大小、收入和温度，而分类则指预测标号或类别，比如判断邮件是否为“垃圾邮件”，拼图游戏的图案是否为“猫”。 将回归和分类联系在一 ...
分类：
编程语言 时间：
2016-08-19 12:44:53
阅读次数：
240
在网上看到一篇对从代码层面理解gbdt比较好的文章，转载记录一下： GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做 ...
分类：
其他好文 时间：
2016-08-18 14:27:12
阅读次数：
181
1. 算法背景介绍 分类树（决策树）是一种十分常用的分类方法。他是一种监管学习，所谓监管学习说白了很简单，就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。分类本质上就是一 ...
分类：
编程语言 时间：
2016-08-16 19:53:56
阅读次数：
1439
一、C4.5 C4.5，是机器学习算法中的一个分类决策树算法， 它是决策树(决策树也就是做决策的节点间的组织方式像一棵树，其实是一个倒树)核心算法 ID3的改进算法，所以基本上了解了一半决策树构造方法就能构造它。 决策树构造方法其实就是每次选择一个好的特征以及分裂点作为当前节点的分类条件。 C4.5 ...
分类：
编程语言 时间：
2016-08-15 18:43:30
阅读次数：
137
写在前面的话咦，好神奇，我今天发现我莫名其妙的成了小三。原来我被卖了还不知道，还帮人家宣传博客和微信公众账号。我放弃了自己规划好的人生，然后决定跟另一个在一起，然后发现原来他有女朋友。我今天有点头大哎。哈哈哈哈哈。原来被劈腿也会被我遇到呢。可怜了我这个系列的博客，写的这么好却没有人知道欣赏。就像我这么好，哈哈哈，我好不要脸，却。。。。如果您有任何地方看不懂的，那一定是我写的不好，请您告诉我，我会争取...
分类：
编程语言 时间：
2016-07-19 09:58:03
阅读次数：
238
