码迷，mamicode.com
首页 > 其他好文 > 详细

稀疏自编码器及TensorFlow实现

时间：2021-02-17 14:16:41      阅读：0      评论：0      收藏：0      [点我收藏+]

标签：containe   resize   code   tps   完整   准备工作   href   original   term   

自动编码机更像是一个识别网络，只是简单重构了输入。而重点应是在像素级重构图像，施加的唯一约束是隐藏层单元的数量。
有趣的是，像素级重构并不能保证网络将从数据集中学习抽象特征，但是可以通过添加更多的约束确保网络从数据集中学习抽象特征。
稀疏自编码器（又称稀疏自动编码机）中，重构误差中添加了一个稀疏惩罚，用来限定任何时刻的隐藏层中并不是所有单元都被激活。如果 m 是输入模式的总数，那么可以定义一个参数 ρ_hat，用来表示每个隐藏层单元的行为（平均激活多少次）。基本的想法是让约束值 ρ_hat 等于稀疏参数 ρ。具体实现时在原始损失函数中增加表示稀疏性的正则项，损失函数如下：
技术图片
如果 ρ_hat 偏离 ρ，那么正则项将惩罚网络，一个常规的实现方法是衡量 ρ 和 ρ_hat 之间的 Kullback-Leiber(KL) 散度。
准备工作
在开始之前，先来看一下 KL 散度 DKL的概念，它是衡量两个分布之间差异的非对称度量，本节中，两个分布是 ρ 和 ρ_hat。当 ρ 和 ρ_hat 相等时，KL 散度是零，否则会随着两者差异的增大而单调增加，KL 散度的数学表达式如下：
技术图片
下面是 ρ=0.3 时的 KL 的散度 DKL的变化图，从图中可以看到，当 ρ_hat=0.3时，DKL=0；而在 0.3 两侧都会单调递增：
技术图片
具体做法
  1. 导入必要的模块：
技术图片
  1. 从 TensorFlow 示例加载 MNIST 数据集：
技术图片
  1. 定义 SparseAutoEncoder 类，除了引入 KL 散度损失之外，它与前面的自动编码机类非常相似：
技术图片
将 KL 约束条件添加到损失函数中，如下所示：
技术图片
其中，alpha 是稀疏约束的权重。该类的完整代码如下所示：
技术图片
  1. 声明 SparseAutoEncoder 类的一个对象，调用 fit() 训练，然后计算重构的图像：
技术图片
  1. 重构损失均方误差随网络学习的变化图：
技术图片
技术图片
  1. 查看重构的图像：
技术图片
结果如下：
技术图片
解读分析
必须注意到，稀疏自编码器的主要代码与标准自动编码机完全相同，稀疏自编码器只有一个主要变化——增加了KL散度损失以确保隐藏（瓶颈）层的稀疏性。如果将两者的重构结果进行比较，则可以看到即使隐藏层中的单元数量相同，稀疏自动编码机也比标准自动编码机好很多：
技术图片
在 MNIST 数据集上，标准自动编码机训练后的重构损失是 0.022，而稀疏自编码器是 0.006，由此可见稀疏自编码器对数据的内在表示学习得更好一些。

稀疏自编码器及TensorFlow实现

标签：containe   resize   code   tps   完整   准备工作   href   original   term   

原文地址：https://www.cnblogs.com/wujianming-110117/p/14401480.html
踩
(0)
赞
(0)
   
举报
评论 一句话评论（0）
登录后才能评论！
分享档案
更多>
2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)
周排行
mamicode.com排行更多图片
更多
友情链接
兰亭集智   国之画   百度统计   站长统计   阿里云   chrome插件   新版天听网
关于我们 - 联系我们 - 留言反馈
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码！