码迷,mamicode.com
首页 > 系统相关 > 详细

paper 102:极限学习机(Extreme Learning Machine)

时间:2016-08-06 12:49:28      阅读:288      评论:0      收藏:0      [点我收藏+]

标签:

原文地址:http://blog.csdn.net/google19890102/article/details/18222103

 

极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解神经网络算法。ELM最大的特点是对于传统的神经网络,尤其是单隐层前馈神经网络(SLFNs),ELM比传统的学习算法速度更快。

 

ELM是一种新型的快速学习算法,对于单隐层神经网络,ELM 可以随机初始化输入权重和偏置并得到相应的输
出权重。对于一个单隐层神经网络,假设有技术分享个任意的样本技术分享,其中技术分享技术分享。对于一个有技术分享个隐层节点的单隐层神经网络可以表示为

技术分享

其中,技术分享为激活函数,技术分享为输入权重,技术分享为输出权重,技术分享是第技术分享个隐层单元的偏置。技术分享表示技术分享技术分享的内积。

 

单隐层神经网络学习的目标是使得输出的误差最小,可以表示为

技术分享

即存在技术分享技术分享技术分享,使得

技术分享

可以表示为

技术分享

其中技术分享是隐层节点的输出,技术分享为输出权重,技术分享为期望输出。

技术分享

为了能够训练单隐层神经网络,我们希望得到技术分享技术分享使得

技术分享

其中技术分享,这等价于最小化损失函数

技术分享

传统的一些基于梯度下降法的算法,如BP学习算法及其变种,可以用来求解这样的问题,但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中, 一旦输入权重技术分享和隐层的偏置技术分享被随机确定,隐层的输出矩阵技术分享就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统技术分享。并且输出权重技术分享可以被确定

技术分享

其中,技术分享是矩阵技术分享的Moore-Penrose广义逆。且可证明求得的解技术分享的范数是最小的并且唯一。

极限学习机的代码下载:点击打开链接

paper 102:极限学习机(Extreme Learning Machine)

标签:

原文地址:http://www.cnblogs.com/molakejin/p/5743522.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!