码迷,mamicode.com
首页 > 其他好文 > 详细

Task03 打卡

时间:2020-02-19 21:02:57      阅读:72      评论:0      收藏:0      [点我收藏+]

标签:for   val   法则   算法   误差   完成   依据   隐藏   ack   

模型过拟合欠拟合

训练误差和泛化误差

训练误差指模型在训练数据集上表现出的误差

泛化误差指模型在任意?个测试数据样本上表现出的误差的期望

我们的注意力应集中于降低泛化误差,使模型具有更好的普适性。

模型选择

验证数据集 (validation set)

预留?部分在训练数据集和测试数据集以外的数据来进?模型选择。这部分数据被称为验证数据集,简称验证集。

\(K\)折交叉验证

我们把原始训练数据集分割成K个不重合的?数据集,然后我们做K次模型训练和验证。每?次,我们使??个?数据集验证模型,并使?其他\(K-1\)个?数据集来训练模型。在这\(K\)次训练和验证中,每次?来验证模型的?数据集都不同。最后,我们对这\(K\)次训练误差和验证误差分别求平均。

过拟合和欠拟合

欠拟合(underfitting):模型?法得到较低的训练误差

过拟合(overfitting):模型的训练误差远小于它在测试数据集上的误差

影响因素:模型复杂度和数据集大小

模型复杂度过低,容易出现欠拟合;复杂的过高,容易出现过拟合。我们需要进行模型的选择以均衡训练误差和泛化误差。

训练集中数据量不足容易引起过拟合,而泛化误差与训练集数据量大小无关,所以应尽可能扩大训练集样本量,尤其是在模型复杂度较高的情况下。

应对过拟合的方法

权重衰减(weight decay)

\(L_2\)范数正则化,即统计学习中的岭回归。以线性回归为例,权重衰减将原来的损失函数\(\ell\left(w_{1}, w_{2}, b\right)=\frac{1}{n} \sum_{i=1}^{n} \frac{1}{2}\left(x_{1}^{(i)} w_{1}+x_{2}^{(i)} w_{2}+b-y^{(i)}\right)^{2}\),通过增加超参数\(\lambda\), 变为\(\ell\left(w_{1}, w_{2}, b\right)+\frac{\lambda}{2 n}\|w\|^{2}\),增加了一个具有\(L_2\)范数惩罚项的新损失函数。\(\|w\|^{2}=w_1^2+w_2^2\)

权重原有的迭代方式变为了

\(w_{1} \leftarrow\left(1-\frac{\eta \lambda}{|\mathcal{B}|}\right) w_{1}-\frac{\eta}{|\mathcal{B}|} \sum_{i \in \mathcal{B}} x_{1}^{(i)}\left(x_{1}^{(i)} w_{1}+x_{2}^{(i)} w_{2}+b-y^{(i)}\right)\)
\(w_{2} \leftarrow\left(1-\frac{\eta \lambda}{|\mathcal{B}|}\right) w_{2}-\frac{\eta}{|\mathcal{B}|} \sum_{i \in \mathcal{R}} x_{2}^{(i)}\left(x_{1}^{(i)} w_{1}+x_{2}^{(i)} w_{2}+b-y^{(i)}\right)\)

可以理解为权重乘以一个小于1的数,再减去不含惩罚性的梯度。通过惩罚绝对值较大的模型参数为模型的学习增加限制,能够在一定程度上抑制过拟合。

丢弃法(dropout)

针对于多层感知机中的隐藏层进行“丢弃”。隐藏层中的每一个单元都有概率\(p\)被丢弃,同时有概率\(1-p\)对其进行拉伸。丢弃概率\(p\)为丢弃法超参数。

\(h_{i}^{\prime}=\frac{\xi_{i}}{1-p} h_{i}\)

\(h_i\)为某一个单元,进行丢弃之后得到的新的隐藏单元为\(h_i^{\prime}\)\(\xi_{i}\)为一随机变量,\(\xi_{i}=0,1\)的概率分别为\(p\), \(1-p\)。可计算得出\(E(\xi_{i})=1-p\)

\(E\left(h_{i}^{\prime}\right)=\frac{E\left(\xi_{i}\right)}{1-p} h_{i}=h_{i}\)

由上式可得丢弃并不会改变隐藏单元的期望值。但每个隐藏单元都有可能被丢弃,因此在训练模型的过程中不会过度依赖任何一个单元,从而起到正则化的作用。

正向传播、反向传播和计算图

正向传播(forward propagation)

正向传播是指对神经.络沿着从输.层到输出层的顺序,依次计算并存储模型的中间变量

下图为正向传播的计算图(computational graph),方形为变量,圆形为运算,箭头表示输入到输出之间的关系

技术图片

他们之间的关系为:

\(z=W^{(1)}x\)

\(h=\phi(z)\)

\(o=W^{(2)}h\)

\(L=\ell(o,y)\)

\(s=\frac{\lambda}{2}\left(\left\|\boldsymbol{W}^{(1)}\right\|_{F}^{2}+\left\|\boldsymbol{W}^{(2)}\right\|_{F}^{2}\right)\)

\(J=L+s\)

反向传播 (back-propagation)

反向传播指的是计算神经?络参数梯度的?法。总的来说,反向传播依据微积分中的链式法则,沿着从输出层到输?层的顺序,依次计算并存储?标函数有关神经?络各层的中间变量以及参数的梯度。

依据链式法则计算反向梯度依次为:

\(\frac{\partial J}{\partial L}=1, \quad \frac{\partial J}{\partial s}=1\)

\(\frac{\partial J}{\partial o}=\operatorname{prod}\left(\frac{\partial J}{\partial L}, \frac{\partial L}{\partial o}\right)=\frac{\partial L}{\partial o}\)

\(\frac{\partial s}{\partial W^{(1)}}=\lambda W^{(1)}, \quad \frac{\partial s}{\partial W^{(2)}}=\lambda W^{(2)}\)

\(\frac{\partial J}{\partial W^{(2)}}=\operatorname{prod}\left(\frac{\partial J}{\partial o}, \frac{\partial o}{\partial W^{(2)}}\right)+\operatorname{prod}\left(\frac{\partial J}{\partial s}, \frac{\partial s}{\partial W^{(2)}}\right)=\frac{\partial J}{\partial o} h^{\top}+\lambda W^{(2)}\)

\(\frac{\partial J}{\partial h}=\operatorname{prod}\left(\frac{\partial J}{\partial o}, \frac{\partial o}{\partial h}\right)=W^{(2)^{T}}\frac{\partial J}{\partial o}\)

\(\frac{\partial J}{\partial z}=\operatorname{prod}\left(\frac{\partial J}{\partial h}, \frac{\partial h}{\partial z}\right)=\frac{\partial J}{\partial h} \odot \phi^{\prime}(z)\)

\(\frac{\partial J}{\partial W^{(1)}}=\operatorname{prod}\left(\frac{\partial J}{\partial z}, \frac{\partial z}{\partial W^{(1)}}\right)+\operatorname{prod}\left(\frac{\partial J}{\partial s}, \frac{\partial s}{\partial W^{(1)}}\right)=\frac{\partial J}{\partial z} x^{\top}+\lambda W^{(1)}\)

关系阐述

???,正向传播的计算可能依赖于模型参数的当前值,而这些模型参数是在反向传播的梯度计算后通过优化算法迭代的。

另???,反向传播的梯度计算可能依赖于各变量的当前值,而这些变量的当前值是通过正向传播计算得到的。

在模型参数初始化完成后,我们交替地进.正向传播和反向传播,并根据反向传播计算的梯度迭代模型参。

数值稳定性和模型初始化

深度模型有关数值稳定性的典型问题是衰减(vanishing)和爆炸(explosion)。

举例:多层感知机,如果有30层,每层都有两个权重分别为0.2和5,第30层输出为输?\(X\)分别与\(0.2^{30} \approx 1\times 10^{-21}\)(衰减)和\(5^{30}\approx 9 \times 10^{20}\)(爆炸)的乘积。

随机初始化模型参数

多层感知机若输入相同的权重,在每一个单元中会得到相同的值,使得多层感知机设置的多个隐藏单元失去意义,所以要在训练前设置随机初始值。

MXNet

权重服从-0.07~0.07之间的均匀分布,偏差参数全部清零。

Xavier

记全连接层输入个数为\(a\), 输出个数\(b\),Xavier随机初始化将使该层中权重参数的每个元素都随机采样于均匀分布:

\(U(-\sqrt{\frac{6}{a+b}}, \sqrt{\frac{6}{a+b}})\)

Task03 打卡

标签:for   val   法则   算法   误差   完成   依据   隐藏   ack   

原文地址:https://www.cnblogs.com/amber-cui/p/12332883.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!