3. 支持向量机 3.1 本质 基本模型是定义在特征空间上的间隔最大的线性分类器。核技巧使之成为实质上的非线性分类器。 学习策略是间隔最大化，可形式化为求解凸二次优化问题。等价于正则化的合页损失函数的最小化问题。 学习算法是求解凸二次规划的最优化算法。 理解支持向量机可以从简至繁推进：线性可分支持向 ...
分类：
其他好文 时间：
2018-10-10 01:00:30
阅读次数：
215
L1和L2正则化项，又叫做惩罚项，是为了限制模型的参数，防止模型过你和而加在损失函数后面的一项。 L1是模型的各个参数的绝对值之和 L2是模型各个参数的平方和的开方值 区别： 从图形上理解：应为最优的参数值很大概率出现在坐标轴上，这样就导致某一维的权重为0，产生稀疏权重矩阵。 从贝叶斯的角度理解：加 ...
分类：
其他好文 时间：
2018-10-02 20:33:11
阅读次数：
266
使用机器学习方法解决实际问题时，我们通常要用L1或L2范数做正则化（regularization），从而限制权值大小，减少过拟合风险。特别是在使用梯度下降来做目标函数优化时，很常见的说法是, L1正则化产生稀疏的权值, L2正则化产生平滑的权值。为什么会这样？这里面的本质原因是什么呢？下面我们从两个 ...
分类：
其他好文 时间：
2018-09-25 23:00:50
阅读次数：
204
XGBoost是GBDT的改进和重要实现，主要在于： 提升算法 XGBoost也是一个加法模型，首先其在目标函数中加入了正则化项： 泰勒级数 yi(t)是第i个实例在第t次迭代的预测值，需要加入 ft来最小化以下目标 通过泰勒二阶展开近似来快速优化目标函数 其中 即l的一阶和二阶导数。移除常数项得到 ...
分类：
其他好文 时间：
2018-09-25 12:42:12
阅读次数：
459
第21章 《Startle Bundle》结束总结 1 本书总结 纵观《Startle Bundle》本书，我们学习了： l 图像分类基础； l 配置深度学习环境； l 构建第一个图像分类器； l 学习参数化学习； l 学习基本的SGD和正则化技术； l 研究神经网络； l 掌握CNNs的基础； l ...
分类：
其他好文 时间：
2018-09-21 15:09:11
阅读次数：
108
神经网络相关名词解释 这篇文章的目的是把之前概念理解的名词用公式记忆一下。 1. 正则化 1.0 过拟合 这是正则化主要解决的问题。 过拟合现象主要体现在accuracy rate和cost两方面： 1.模型在测试集上的准确率趋于饱和而训练集上的cost仍处于下降趋势 2.训练集数据的cost趋于下 ...
分类：
其他好文 时间：
2018-09-02 16:06:47
阅读次数：
404
传统的GBDT是以CART作为基分类器，xgboost还支持线性分类器，这个时候XGBOOST相当于带L1和L2正则化的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。传统的GBDT在优化的hih只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下 ...
分类：
其他好文 时间：
2018-08-27 11:27:56
阅读次数：
188
1. xgboost在目标函数中加入了正则化项，当正则化项为0时与传统的GDBT的目标函数相同2. xgboost在迭代优化的时候使用了目标函数的泰勒展开的二阶近似，paper中说能加快优化的过程！！xgboost可自定义目标函数，但是目标函数必须二阶可导也是因为这个。GDBT中只用了一阶导数。3. ...
分类：
其他好文 时间：
2018-08-24 20:43:35
阅读次数：
254
欧式距离： l2范数： l2正则化： l2-loss(也叫平方损失函数)： http://openaccess.thecvf.com/content_cvpr_2017/papers/Li_Mimicking_Very_Efficient_CVPR_2017_paper.pdf 总结：l2范数和欧式 ...
分类：
其他好文 时间：
2018-08-24 19:25:51
阅读次数：
439
