有一句话在业界广为流传：特征工程决定了模型的上界，调参决定模型能够有多逼近这个上界。 这里以sklearn为例讲讲特征工程。 一图概览特征工程 虽然说分了这么多部分，但特征工程最重要的部分还是特征处理，特征处理主要包含三个方面，特征预处理，特征选择和降维度。 数据预处理 数据预处理一方面把特征转为合 ...
分类：
其他好文 时间：
2018-06-05 13:29:25
阅读次数：
148
一、mapminmax 意思是将矩阵的每一行处理成[-1,1]区间，此时对于模式识别或者其他统计学来说，数据应该是每一列是一个样本，每一行是多个样本的同一维，即对于一个M*N的矩阵来说，样本的维度是M，样本的个数是N，一共N个样本。 其主要调用方式有： 1.[Y, PS] = mapminmax(X ...
分类：
其他好文 时间：
2018-06-01 23:16:33
阅读次数：
236
特征选择是一个重要的数据预处理过程，在现实机器学习任务中，获得数据之后通常先进行特征选择，此后在训练学习器，如下图所示： 进行特征选择有两个很重要的原因： 避免维数灾难：能剔除不相关(irrelevant)或冗余(redundant )的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的 ...
分类：
其他好文 时间：
2018-05-29 01:52:56
阅读次数：
248
数据预处理技术在地学大数据中应用(知网) 数据预处理技术在地学大数据中应用：成矿规律、智能矿床模型、壳幔对流模型、岩石构造环境判别、矿物生态系统、地学本体及语义网等地质数据不仅数量巨大, 数据类型多样, 同时还具有噪音强、混合型强、区域性强的特点, 具有明显大数据的特征。 ...
分类：
其他好文 时间：
2018-05-27 12:14:13
阅读次数：
119
最近一直断断续续的做这个泰坦尼克生存预测模型的练习，这个kaggle的竞赛题，网上有很多人都分享过，而且都很成熟，也有些写的非常详细，我主要是在牛人们的基础上，按照数据挖掘流程梳理思路，然后通过练习每一步来熟悉应用python进行数据挖掘的方式。 数据挖掘的一般过程是：数据预览——>数据预处理（缺失 ...
分类：
编程语言 时间：
2018-05-25 01:42:25
阅读次数：
300
@(131 Machine Learning | 机器学习) Dummy Variable 虚拟变量的含义 虚拟变量又称虚设变量、名义变量或哑变量，用以反映质的属性的一个人工变量,是量化了的质变量，通常取值为0或1。引入哑变量可使线形回归模型变得更复杂，但对问题描述更简明，一个方程能达到俩个方程的作 ...
分类：
其他好文 时间：
2018-05-21 12:35:38
阅读次数：
301
在机器学习任务中，经常会对数据进行预处理．如尺度变换，标准化，二值化，正规化．至于采用哪种方法更有效，则与数据分布和采用算法有关．不同算法对数据的假设不同，可能需要不同的变换，而且有时无需进行变换，也可能得到相对更好的效果．因此推荐使用多种数据变换方式，用多个不同算法学习和测试，选择相对较好的变换方 ...
分类：
编程语言 时间：
2018-05-19 21:22:23
阅读次数：
240
【原创】Liu_LongPo 转载请注明出处 【CSDN】http://blog.csdn.net/llp1992 PCA算法前面在前面的博客中已经有介绍，这里简单在描述一下，更详细的PCA算法请参考我的博客： 机器学习实战ByMatlab（二）PCA算法 PCA 的主要计算步骤 1.数据预处理，使 ...
分类：
其他好文 时间：
2018-05-13 11:57:10
阅读次数：
185
一、属性规约 在进行数据预处理的过程中，如果数据的某一列都是一样的或者属性是一样的，那么这一列对我们的预测没有帮助，应该将这一列去掉，pandas中如果某一列属性值相同，但是此列中有缺失值（NaN），pandas会默认其有两个属性，我们在进行此操作的过程中应该首先去掉缺失值，然后检查唯一性。代码如下 ...
分类：
编程语言 时间：
2018-05-13 10:36:18
阅读次数：
239
数据预处理 是指因为算法或者分析需要，对经过数据质量检查后的数据进行转换、衍生、规约等操作的过程。整个数据预处理工作主要包括 五个方面内容 ：简单函数变换、标准化、衍生虚拟变量、离散化、降维。本文将作展开介绍，并提供基于Python的代码实现。 1. 简单函数变换 简单函数变换 是指对原始数据直接使 ...
分类：
其他好文 时间：
2018-05-12 03:12:18
阅读次数：
174
