Xgboost 思想：怎么样在当前模型再加入一个基础模型，使得组合后的效果更好。 问题：是否会玩电脑游戏？ 目标函数： 如何得到最优解： 集成算法的表示: 基础模型:决策树模型 集成方法: 并行构造多棵树?没那么简单,一个一个的加! 🥇问题:每一轮加入一个什么样的基础模型呢? ??解决方案:加了它 ...
分类：
其他好文 时间：
2019-08-09 13:37:14
阅读次数：
77
在介绍ID3算法前，让我们先用一张图引入什么是决策树。 决策树是模仿树结构来进行决策的，通过判断有无女票、是否需要陪女票、有无任务等子决策来对是否学习作出最终的决策。 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点（node）和有向边（directed edge）组成。结点有两种类型 ...
分类：
其他好文 时间：
2019-07-28 17:32:27
阅读次数：
126
欠拟合（高偏差，低方差）与过拟合（低偏差，高方差） 严格关注数据会过拟合，忽略数据会欠拟合 ...
分类：
其他好文 时间：
2019-07-25 16:12:42
阅读次数：
102
之前对决策树的算法原理做了总结，包括决策树算法原理(上)和决策树算法原理(下)。今天就从实践的角度来介绍决策树算法，主要是讲解使用scikit-learn来跑决策树算法，结果的可视化以及一些参数调参的关键点。# 一、1.scikit-learn决策树算法类库介绍 scikit-learn决策树算法类... ...
分类：
编程语言 时间：
2019-07-19 19:12:06
阅读次数：
111
''' 集合算法: 1.正向激励 2.自助聚合：每次从总样本矩阵中以有放回抽样的方式随机抽取部分样本构建决策树，这样形成多棵包含不同训练样本的决策树， 以削弱某些强势样本对模型预测结果的影响，提高模型的泛化特性。 3.随机森林：在自助聚合的基础上，每次构建决策树模型时，不仅随机选择部分样本，而且还随... ...
分类：
其他好文 时间：
2019-07-14 17:49:54
阅读次数：
100
1.基于树模型提取特征 2.基于L1，L2惩罚值提取特征 3.递归特征消除法提取特征 4.互信息选择法提取特征 5.利用相关系数选择特征 6.卡方检验法提取特征 7.利用方差选择特征 参考：https://www.kesci.com/ ...
分类：
其他好文 时间：
2019-07-09 00:28:36
阅读次数：
371
package test;public class tree2 { private int data; private tree2 lChild; private tree2 rChild; public int getNodes(){ return (this.lChild == null ? 0... ...
分类：
其他好文 时间：
2019-06-04 09:16:07
阅读次数：
104
决策树模型 决策树(DecisionTree, DT)是一种常见的用于分类和回归的非参数监督学习方法，目标是创建一个模型，通过从数 据特性中推导出简单的决策规则来预测目标变量的值。决策树模型的优点在于：1，简单容易理解，数据结构可以可视化表达。2，需要很少的数据准备，其他技术通常需 要数据标准化，需 ...
分类：
其他好文 时间：
2019-04-10 12:04:10
阅读次数：
125
树模型主要有ID3、C4.5、C5.0、OC1以及CART等，使用最多的树模型为CART，sklearn中的决策树模型是基于CART的。 在介绍树模型之前先介绍一下信息熵、信息增益以及GINi系数。 信息熵：熵度量了事物的不确定性，越不确定的事物，它的熵就越大。 信息增益：它度量了在知道当前特征之后 ...
分类：
其他好文 时间：
2019-03-14 20:06:38
阅读次数：
527
[TOC] 1、决策树 树：是由节点和边两种元素组成的结构。其中节点包括根结点、父节点、子节点和叶子节点。 决策树：利用树结构进行决策，每一个非叶子节点是一个特征，表示一个判断条件，每一个叶子节点是是一个类，表示结论。 分类决策树模型：是一种描述对实例进行分类的树形结构。 决策树过程：可以把决策树看 ...
分类：
其他好文 时间：
2019-03-08 23:26:36
阅读次数：
242
