数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。特征选择是特种工程的重要组成部分，在现实任务中，获得数据之后通常先进性特征选择，用相关特征训练学习器。 特征选择的概念 相关特征：与当前学习任务相关的特征 无关特征：与当前学习任务无关的特征 特征选择：在不丢失重要特征的前提下，从给定... ...
分类：
其他好文 时间：
2018-04-30 15:32:40
阅读次数：
179
在进行特征选择的时候我们要衡量特征和我们的目标之间的相似性，有很多的方法可以衡量，下面介绍一些使用filter特征选择方法的时候能够使用的方法。filter特征选择方法是：特征选择的过程和模型的训练过程没有直接关系，使用特征本身的信息来进行特征选择。 参考这篇文章给出下图所示的特征度量方法： 1：相 ...
分类：
其他好文 时间：
2018-04-28 23:47:46
阅读次数：
420
一、定义 决策树是一种对实例进行分类的树形结构。 决策树由结点和有向边组成。 结点有两种类型：内部节点表示一个特征或属性，叶节点表示一个类。 二、算法 计算最优特征子函数：不同标准导致不同类型的决策树， ID3的最优特征选择标准是信息增益，C4.5是信息增益率，CART是节点方差的大小 框架： 1- ...
分类：
其他好文 时间：
2018-04-19 18:49:23
阅读次数：
131
根据结构分数的增益情况计算出来选择哪个特征的哪个分割点，某个特征的重要性，就是它在所有树中出现的次数之和。 参考：https://blog.csdn.net/q383700092/article/details/53698760 另外：使用xgboost，遇到一个问题 看到网上有一个办法： 重新新建 ...
分类：
其他好文 时间：
2018-04-17 18:03:49
阅读次数：
1386
特征选择 特征选择是从数据集的诸多特征里面选择和目标变量相关的特征，去掉那些不相关的特征。 特征选择分为两个问题：一个是子集搜索问题，另外一个是子集评价问题。比如将前向搜索和信息熵评价这两种策略进行结合就是决策树算法，事实上决策树算法可以进行特征选择。sklearn当中的“树形”算法的feature ...
分类：
其他好文 时间：
2018-04-09 17:20:52
阅读次数：
1002
一、决策树 1、决策树是一种基本的分类与回归方法，本文主要讨轮用于分类的决策树，决策树模型呈现树形结构，在分类问题中，表示基于特征对实例进行分类的过程， 学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型 预测时，对新的数据，利用决策树模型进行分类， 决策树学习通常分为3个步骤：特征选择、 ...
分类：
其他好文 时间：
2018-03-27 12:30:41
阅读次数：
143
前言 特征是数据中抽取出来的对结果预测有用的信息，可以是文本或者数据。特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。过程包含了特征提取、特征构建、特征选择等模块。 特征工程的目的是筛选出更好的特征，获取更好的训练数据。因为好的特征具有更强的灵活性，可以用简 ...
分类：
其他好文 时间：
2018-03-25 16:20:33
阅读次数：
1402
第一章 准备工作 1.3 重要的python数据库 Numpy：是python科学计算的基础包，本书大部分内容都基于numpy以及构建于其上的库功能如下： 快速高效的多维数组对象ndarray。 用于对数组执行元素级计算以及直接对数组执行数学运算的函数 用于读写硬盘上基于数组的数据集的工具 线性代数 ...
分类：
编程语言 时间：
2018-03-13 21:06:04
阅读次数：
278
局部加权线性回归(Locally weighted linear regression) 在线性回归中，特征选择不当时可能会造成过拟合和欠拟合。为了解决这个问题，引入局部加权回归，避免了线性回归中特征的选择，利用预测值周围的局部数据进行线性拟合。 首先我们来看一个线性回归的问题，在下面的例子中，我们 ...
分类：
其他好文 时间：
2018-02-26 23:25:53
阅读次数：
189
当数据维数比较大时，就需要进行降维，特征选择是降维的一种主要方式，又包括3种方法：Filter、Wrapper和Enbedding。 1. Filter 过滤器方法，这种方法首先选定特征，再来进行学习。根据每一个属性的一些指标（如方差等），来确定这个属性的重要程度，然后对所有属性按照重要程度排序，从 ...
分类：
其他好文 时间：
2018-02-23 23:51:40
阅读次数：
224
