在机器学习中，特征选择和降维感觉好像差不多，维度都降低了，今天和其他同学交流学习才知道其实不然，区别很大。 一般情况下，我们不会使用原始数据直接去进行训练，因为原始数据的特征明显，信息丰富，我们训练后的效果对于训练集非常好，而对于测试集来说就很差了。这就是过拟合问题。 当我们进行特征提取后，维度依然 ...
分类：
其他好文 时间：
2017-09-23 19:04:16
阅读次数：
197
目录 1 特征工程是什么？2 数据预处理 2.1 无量纲化 2.1.1 标准化 2.1.2 区间缩放法 2.1.3 标准化与归一化的区别 2.2 对定量特征二值化 2.3 对定性特征哑编码 2.4 缺失值计算 2.5 数据变换 2.6 回顾3 特征选择 3.1 Filter 3.1.1 方差选择法 ...
分类：
其他好文 时间：
2017-09-11 19:45:07
阅读次数：
229
决策树分类 1，概念 2，决策树算法 2.1，特征选择： 熵：值越大，不确定性因素越大；条件熵：条件对结果的影响不确定性；信息增益；信息增益比 2.2，决策树生成算法 1，ID3算法 2，c4.5算法 3，实例说明 4，CART决策树算法 4.1 决策树生成 回归树生成 分类树生成 举个例子： 第一 ...
分类：
其他好文 时间：
2017-09-02 22:32:39
阅读次数：
182
##从智库百科摘取 优点： 1、可以生成可以理解的规则 2、计算量相对不是很大 3、可以处理连续和种类字段 4、可以清晰的显示哪些字段比较重要（这一特性可以用于特征选择） 缺点： 1、对连续型字段比较难预测 2、对于有时间顺序数据，需要许多预处理工作（为什么？） 3、当类别较多时，错误可能增加的比较 ...
分类：
其他好文 时间：
2017-08-31 21:05:44
阅读次数：
214
1、什么是boosting tree 2、GBDT 3、L1和L2正则为何可以减弱over-fitting，L1和L2正则有什么区别？ 4、KNN和LR有什么本质区别 5、怎么理解Dropout 6、为什么random forest具有特征选择的功能？ 7、random forest有哪些重要的参数 ...
分类：
其他好文 时间：
2017-07-26 00:13:58
阅读次数：
234
sklearn特征选择和分类模型 数据格式： 这里。原始特征的输入文件的格式使用libsvm的格式，即每行是label index1:value1 index2:value2这样的稀疏矩阵的格式。 sklearn中自带了非常多种特征选择的算法。我们选用特征选择算法的根据是数据集和训练模型。 以下展示 ...
分类：
其他好文 时间：
2017-07-23 16:34:10
阅读次数：
302
一、概念 特征选择feature selection：也被称为variable selection或者attribute selection. 是选取已有属性的子集subset来进行建模的一种方式. 进行特征选择的目的主要有: 简化模型，缩短训练时间，避免维数灾难(curse of dimensio ...
分类：
其他好文 时间：
2017-07-23 11:31:55
阅读次数：
138
http://scikit-learn.org/stable/modules/feature_extraction.html 带病在网吧里。。。。。。写。求支持。。。 1、首先澄清两个概念：特征提取和特征选择（ Feature extraction is very different from Fe ...
分类：
其他好文 时间：
2017-07-20 13:30:52
阅读次数：
235
针对银行客户流失预测，主要流程分为：特征预处理、特征选择，分类模型选择与训练。主要工作如下： 1：特征预处理与选择 对性别进行哑变量处理； 对是否有****信息将布尔值转换01表示； 画出年龄直方图可以看出大致呈正态分布，对年龄分段处理后缺失值采用插补方式； 资产当前总额=存储类资产当前总额=本币存 ...
分类：
其他好文 时间：
2017-07-19 23:34:02
阅读次数：
350
sklearn.feature_selection模块的作用是feature selection，而不是feature extraction。 Univariate feature selection：单变量的特征选择 单变量特征选择的原理是分别单独的计算每个变量的某个统计指标，根据该指标来判断哪些 ...
分类：
编程语言 时间：
2017-07-19 14:25:04
阅读次数：
156
