XGBoost 相比于GBDT 做了两方面的优化： 一是算法本身的优化：在算法的弱学习器模型选择上，对比GBDT只支持决策树，XGBoost 还可以直接很多其他的弱学习器。 在算法的损失函数上，除了本身的损失，XGBoost 还加上了正则化部分，可以防止过拟合，泛化能力更强。 在计算方式上，GBDT... ...
分类：
编程语言 时间：
2020-05-03 17:02:08
阅读次数：
100
为什么要做 batch normalization 没有加batch normalization，过拟合，也就是训练集的效果还不错，但是测试集的效果真的差 BN的基本思想其实相当直观：因为深层神经网络在做非线性变换前的激活输入值（就是那个x=WU+B，U是输入）随着网络深度加深或者在训练过程中，其分 ...
分类：
其他好文 时间：
2020-05-02 22:30:06
阅读次数：
62
一、用自己的话描述出其本身的含义： 1、特征选择 特征选择就是在一大堆数据中删除相关性系数比较低对结果没什么影响的特征，从而降维优化计算程度。 减少特征具有重要的现实意义，不仅减少过拟合、减少特征数量（降维）、提高模型泛化能力，而且还可以使模型获得更好的解释性，增强对特征和特征值之间的理解，加快模型 ...
分类：
其他好文 时间：
2020-05-02 11:32:32
阅读次数：
118
一、描述出其本身的含义： 1、特征选择 特征选择对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。 特征选择主要有两个功能： (1)减少特征数量、降维，使模型泛化能力更强，减少过拟合 (2)增强对 ...
分类：
其他好文 时间：
2020-05-01 13:01:36
阅读次数：
254
到现在为止，我们已经学习了几种不同的学习算法，包括线性回归和逻辑回归，它们能够有效地解决许多问题，但是当将它们应用到某些特定的机器学习应用时，会遇到过拟合(over-fitting)的问题，可能会导致它们效果很差。 一：过度拟合问题 （一）线性回归中的过拟合问题 继续使用线性回归来预测房价的例子，我 ...
分类：
其他好文 时间：
2020-05-01 12:51:33
阅读次数：
86
机器学习中的范数规则化之（一）L0、L1与L2范数 zouxy09@qq.com http://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇 ...
分类：
其他好文 时间：
2020-05-01 00:55:07
阅读次数：
60
##########################################2020.0430 一时感想：最有效的模型，可能往往是你最不看好的简单模型，less is more 降低深度学习模型过拟合的方法 1.增加更多数据 2.使用数据增广技术（增加训练数据集，让数据集尽可能的多样化。目前 ...
分类：
其他好文 时间：
2020-04-30 22:54:56
阅读次数：
109
相关概念： 剪枝：如果有特征对决策没有很大的帮助，那么可以进行预剪枝或后剪枝操作。（对决策树减少节点的形象说法）。 不同算法信息指标： ①信息增益（ID3算法）： 简单易懂，适合大部分场景； 但是因为分割越细错分率越低，效果越好，所以存在分割太细造成对训练数据的过拟合问题，使得对测试数据的泛化效果差 ...
分类：
其他好文 时间：
2020-04-30 21:43:43
阅读次数：
81
1.逻辑回归是怎么防止过拟合的？为什么正则化可以防止过拟合？（大家用自己的话介绍下） 逻辑回归是用正则化来防止过拟合的， 正则化是通过约束参数的范数使其不要太大，所以可以在一定程度上减少过拟合情况。 2.用logiftic回归来进行实践操作，数据不限 from sklearn.datasets im ...
分类：
其他好文 时间：
2020-04-29 21:58:51
阅读次数：
61
1.逻辑回归是怎么防止过拟合的？为什么正则化可以防止过拟合？（大家用自己的话介绍下） 答（1）： 1. 增加样本量，这是万能的方法，适用任何模型。 2. 如果数据稀疏，使用L1正则，其他情况，用L2要好，可自己尝试。 3. 通过特征选择，剔除一些不重要的特征，从而降低模型复杂度。 4. 如果还过拟合 ...
分类：
其他好文 时间：
2020-04-29 21:48:31
阅读次数：
76
