介绍梯度下降概念，SGD以及扩展SGD，包括动量和Nesterov动量。 阐述正则化概念与基本应用。 ...
分类：
其他好文 时间：
2018-08-24 18:10:34
阅读次数：
192
权重衰减是应对过拟合问题的常用方法。 $L_2$范数正则化 在深度学习中，我们常使用L2范数正则化，也就是在模型原先损失函数基础上添加L2范数惩罚项，从而得到训练所需要最小化的函数。 L2范数惩罚项指的是模型权重参数每个元素的平方和与一个超参数的乘积。如：$w_1$,$w_2$是权重参数，b是偏差参 ...
分类：
Web程序 时间：
2018-08-23 00:38:44
阅读次数：
380
1、训练误差和泛化误差 机器学习的主要挑战是我们的模型要在未观测数据上表现良好，而不仅仅是在训练数据上表现良好。在未观测数据上表现良好称为 泛化 （generalization）。 通常情况下，我们在训练数据上训练模型时会计算一些被称为 训练误差 （training error）的误差度量，目标是降 ...
分类：
其他好文 时间：
2018-08-23 00:29:40
阅读次数：
229
基础公式： ?BA/?A = BT ?ATB/?A = B ?ATBA/?A = 2BA 模型函数： hθ(x) = xθ 无正则化损失函数： J(θ) = 1/2(Xθ-Y)2 令偏导?J(θ)/?θ等于0，得： θ = (XTX)-1XTY 正则化损失函数： J(θ) = 1/2(Xθ-Y)2+ ...
分类：
其他好文 时间：
2018-08-19 15:46:49
阅读次数：
362
为什么可以通过给目标函数增加一个正则项来防止其过拟合？（来使其更圆滑？） 在实现MF矩阵分解算法的时候，也有给损失函数增加一个正则项：推荐系统之矩阵分解及其Python代码实现 【Reference】 1、正则化为什么能防止过拟合 ...
分类：
其他好文 时间：
2018-08-17 17:48:23
阅读次数：
191
2018-1-26 虽然我们不断追求更好的模型泛化力，但是因为未知数据无法预测，所以又期望模型可以充分利用训练数据，避免欠拟合。这就要求在增加模型复杂度、提高在可观测数据上的性能表现得同时，又需要兼顾模型的泛化力，防止发生过拟合的情况。为了平衡这两难的选择，通常采用两种模型正则化的方法：L1范数正则 ...
分类：
其他好文 时间：
2018-08-03 14:17:26
阅读次数：
136
K近邻算法 损失函数 正则化惩罚项 soft分类器 梯度下降 反向传播 ...
分类：
其他好文 时间：
2018-07-30 23:04:05
阅读次数：
157
正则化（Regularization） 稀疏模型与特征选择 上面提到L1正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择。为什么要生成一个稀疏矩阵？ 稀疏矩阵指的是很多元素为0，只有少数元素是非零值的矩阵，即得到的线性回归模型的大部分系数都是0. 通常机器学习中特征数量很多，例如文本处理时，如 ...
分类：
其他好文 时间：
2018-07-18 20:39:10
阅读次数：
128
使用L2正则化和平均滑动模型的LeNet 5MNIST手写数字识别模型 觉得有用的话,欢迎一起讨论相互学习~ "Follow Me" 参考文献 "Tensorflow实战Google深度学习框架" 实验平台: Tensorflow1.4.0 python3.5.0 "MNIST数据集" 将四个文件下 ...
分类：
Web程序 时间：
2018-07-16 19:37:33
阅读次数：
279
1.1为什么是ML策略 （1）当对一个实际的应用系统进行优化时，可能有很多想法：如提高数据量，提高网络深度，正则化等等，一个错误的选择可能浪费非常多的时间，本课就是让你在面对很多选择时做出正确的选择，这就是ML策略。提高效率，让你的深度学习系统更快投入使用。 1.2正交化 （1）使用以下的老式电视机 ...
分类：
其他好文 时间：
2018-07-14 20:05:46
阅读次数：
160
