系统学习机器学习书本知识--每周两章节，列表如下: 1.模式评估与选择 线性模型 2.决策树 神经网络 3.支持向量机 贝叶斯分类器 4.集成学习 聚类 5.降维与度量学习 特征选择与稀疏学习 6.计算学习理论 半监督学习 7.概率图模型 规则学习 8.强化学习 ...
分类：
其他好文 时间：
2019-12-29 18:52:15
阅读次数：
93
之前做特征选择，实现过基于群智能算法进行最优化的搜索，看过一些群智能优化算法的论文，在此做一下总结。 在生活或者工作中存在各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一... ...
分类：
编程语言 时间：
2019-12-12 00:58:29
阅读次数：
120
这一篇博客的内容是在上一篇博客Scikit中的特征选择，XGboost进行回归预测，模型优化的实战的基础上进行调参优化的，所以在阅读本篇博客之前，请先移步看一下上一篇文章。 我前面所做的工作基本都是关于特征选择的，这里我想写的是关于XGBoost参数调整的一些小经验。之前我在网站上也看到很多相关的内 ...
分类：
其他好文 时间：
2019-11-30 14:01:22
阅读次数：
106
一、概述 1.1【降维】 【维降】：把三维降成二维，本质就是减少特征数量； 1.2【特征选择】 什么是特征选择： 特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征，特征在选择前和选择后可以改变值、也不改变值，但是选择后的特征维数肯定比选择前小，毕竟我们只选择了其中的一部分特征。 为什 ...
分类：
其他好文 时间：
2019-11-27 10:46:17
阅读次数：
85
决策树的学习通常包含三个步骤：特征选择、树的生成、树的剪枝。决策树的生成采用启发式的方法，只考虑局部最优，相对地，决策树的剪枝则考虑全局最优 特征选择 信息增益 随机变量$X$的熵定义为： $$H(X)= \sum \limits_{i}p_i\log p_i$$ 熵越大，不确定性越大。从定义可验证 ...
分类：
其他好文 时间：
2019-11-24 15:58:13
阅读次数：
80
方法1：方差选择法 主要针对每个列进行计算，方差非常小的特征维度对于样本的区分作用很小，可以剔除掉。 例如：假设数据集为布尔型特征，想要去掉那些超过80%情况下为1或者为0的特征。由于布尔特征是伯努利随机变量，其方差可以计算为 Var[x] = p*(1-p),因此阈值为0.8*（1-0.8）=0. ...
分类：
其他好文 时间：
2019-11-22 10:46:44
阅读次数：
72
特征选择 特征选择方法是从原始特征数据集中选择子集，是一种包含的关系，没有更改原始的特征空间。主要是为了减少特征数量、降维，减少过拟合使模型泛化能力更强以及增强对特征与特征值之间的理解。 （1） Filter方法：对每一维的特征“打分”，即给每一维的特征赋予权重，这样的权重就代表着该维特征的重要性， ...
分类：
其他好文 时间：
2019-11-19 13:36:32
阅读次数：
55
