码迷,mamicode.com
首页 > 其他好文 > 详细

连续受限玻尔兹曼机

时间:2020-03-03 19:00:54      阅读:65      评论:0      收藏:0      [点我收藏+]

标签:网络   输入   注意   ref   for   玻尔兹曼   组合   接受   load   

 

 

连续 RBM

连续 RBM 是受限玻尔兹曼机的一种形式,它通过不同类型的对比散度采样接受连续的输入(也就是比整数切割得更细的数字)。这允许 CRBM 处理图像像素或字数向量这类被归一化到 0 到 1 之间的小数的向量。

应该注意,深度学习网络的每一层都需要四个元素:输入、系数、偏置项以及变换(激活算法)。

输入是数值数据,是一个来自于前面层(或者原始数据)的向量。系数是通过每个节点层的特征的权重。偏置项确保部分节点无论如何都能够被激活。变换是一种额外的算法,它在数据通过每一层以后以一种使梯度(梯度是网络必须学习的)更容易被计算的方式压缩数据。

这些额外算法和它们的组合可以逐层变化。

一种有效的连续 RBM 在可见(或者输入)层上使用高斯变换,在隐藏层上使用整流线性单元(ReLU)变换。这在面部重建中特别有用。对于处理二进制数据的 RBM 而言,只需要进行二进制转换即可。

高斯变换在 RBM 的隐藏层上的表现不好。相反,使用 ReLU 变换能够表示比二进制变换更多的特征,我们在深度置信网络中使用了它。

 

REF

https://baijiahao.baidu.com/s?id=1599798281463567369&wfr=spider&for=pc

https://uwaterloo.ca/data-analytics/sites/ca.data-analytics/files/uploads/files/dbn2.pdf

连续受限玻尔兹曼机

标签:网络   输入   注意   ref   for   玻尔兹曼   组合   接受   load   

原文地址:https://www.cnblogs.com/emanlee/p/12403919.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!