判别模型(discriminative) vs生成模型(generative) 逻辑回归算法简单，对特征工程的要求就非常高。必须做特征归一化，否则各特征重要程度不一。 http://www.cnblogs.com/maybe2030/p/6336896.html ...
分类：
其他好文 时间：
2018-07-22 23:38:47
阅读次数：
229
目录 一、 特征工程是什么？ 2 ①特征使用方案 3 ②特征获取方案 4 ③特征处理 4 1. 特征清洗 4 2. 数据预处理 4 3. 特征监控 4 二、 数据预处理 5 1. 无量纲化 5 1.1标准化 5 1.2区间缩放法 7 1.3归一化方法有两种 7 2. 对定量特征二值化 8 1. 为什 ...
分类：
其他好文 时间：
2018-07-19 23:26:41
阅读次数：
818
机器学习类型 机器学习模型评估步骤 深度学习数据准备 特征工程 过拟合 解决机器学习问题的一般性流程 机器学习四分支 二分类、多分类以及回归问题都属于监督学习－－目标是学习训练输入和对应标签之间的关系。 监督学习只是机器学习的冰山一角。机器学习主要分为４类:监督学习、非监督学习、半监督学习和强化学习 ...
分类：
编程语言 时间：
2018-07-18 23:33:11
阅读次数：
218
异常点检测，有时也叫离群点检测，英文一般叫做Novelty Detection或者Outlier Detection,是比较常见的一类非监督学习算法，这里就对异常点检测算法做一个总结。 1. 异常点检测算法使用场景 什么时候我们需要异常点检测算法呢？常见的有三种情况。一是在做特征工程的时候需要对异常 ...
分类：
编程语言 时间：
2018-07-15 21:16:11
阅读次数：
315
特征工程数据科学最有创造力的方面。要像其他任何有创造力的尝试一样对待它，就想写一个喜剧的秀。坚持头脑风暴创建模板或公式检查/重新审视以前的工作特征分类一些预处理似乎永远都是必要的很高的基数（即包含大量不同的值）会带来很稀疏的数据填补缺失值是一个难点Onehot编码One-of-K给一个长度为K的数组编码基本方法：大多使用一些线性的算法去掉第一列避免共线性稀疏格式是记忆友好的（便于存储）目前对待缺失
分类：
其他好文 时间：
2018-07-14 17:19:16
阅读次数：
316
特征的标准化和归一化 异常特征样本清洗 处理不平衡数据 特征的标准化和归一化 异常特征样本清洗 处理不平衡数据 特征的标准化和归一化 由于标准化和归一化这两个词经常混用，所以本文不再区别标准化和归一化，而通过具体的标准化和归一化方法来区别具体的预处理操作。 z-score标准化：这是最常见的特征预处 ...
分类：
其他好文 时间：
2018-07-04 20:10:20
阅读次数：
144
特征工程的整体思路： 1. 对于特征的理解、评估 2. 特征处理： 2.1 特征处理 2.1.1 特征清洗 清洗异常、采样 2.1.2 预处理 单特征情况：归一化、离散化、哑变量编码、缺失值填充等。数据变换例如log服从正态分布。 多特征情况： 降维：PCA、LDA（这个不太了解、待学习） 特征选择 ...
分类：
其他好文 时间：
2018-07-03 16:57:21
阅读次数：
187
过滤法：filter 4. 互信息：互信息值越大，说明该特征和输出值之间的相关性越大，越需要保留。在sklearn中，可以使用mutual_info_classif(分类)和mutual_info_regression(回归)来计算各个输入特征和输出值之间的互信息。 个人经验是，在没有什么思路的 时 ...
分类：
其他好文 时间：
2018-06-30 22:57:57
阅读次数：
200
特征及特征工程的介绍，各种类型变量的特征工程常用算法及基于python 和 knime 的实现。
分类：
编程语言 时间：
2018-06-12 14:47:59
阅读次数：
158
有一句话在业界广为流传：特征工程决定了模型的上界，调参决定模型能够有多逼近这个上界。 这里以sklearn为例讲讲特征工程。 一图概览特征工程 虽然说分了这么多部分，但特征工程最重要的部分还是特征处理，特征处理主要包含三个方面，特征预处理，特征选择和降维度。 数据预处理 数据预处理一方面把特征转为合 ...
分类：
其他好文 时间：
2018-06-05 13:29:25
阅读次数：
148
