Two Simple Examplessoftmax classifier后,我们介绍两个简单的例子,一个是线性分类器,一个是神经网络。由于网上的讲义给出的都是代码,我们这里用公式来进行推导。首先看softmax classifier 的例子。给定输入X∈RN×DX \in \mathbf{R}^{N \times D},权值W∈RD×KW \in \mathbf{R}^{D \times K},偏...
分类:
Web程序 时间:
2016-02-26 12:26:22
阅读次数:
195
5.1节 Cost Function神经网络的代价函数。 上图回顾神经网络中的一些概念: L 神经网络的总层数。 sl 第l层的单元数量(不包括偏差单元)。 2类分类问题:二元分类和多元分类。 上图展现的是神经网络的损失函数,注意这是正则化的形式。 正则化部分,i、j不为0。当然i、j可以为0,此时
分类:
Web程序 时间:
2016-02-25 00:07:14
阅读次数:
344
1. 早期C. Koch与S. Ullman的研究工作. 他们提出了非常有影响力的生物启发模型。 C. Koch and S. Ullman . Shifts in selective visual attention: Towards the underlying neural circuitry
分类:
其他好文 时间:
2016-02-23 20:45:34
阅读次数:
2084
人工神经网络(Artificial Neural Networks,简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model),它是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系
分类:
其他好文 时间:
2016-02-03 10:42:09
阅读次数:
129
原文:https://medium.com/learning-new-stuff/how-to-learn-neural-networks-758b78f2736e#.ly5wpz44dThis is the second post in a series of me trying to learn...
分类:
Web程序 时间:
2016-01-10 13:02:22
阅读次数:
351
(一)卷积神经网络卷积神经网络最早是由Lecun在1998年提出的。卷积神经网络通畅使用的三个基本概念为:1.局部视觉域;2.权值共享;3.池化操作。在卷积神经网络中,局部接受域表明输入图像与隐藏神经元的连接方式。在图像处理操作中采用局部视觉域的原因是:图像中的像素并不是孤立存在的,每一个像素与它周...
分类:
Web程序 时间:
2016-01-04 21:08:00
阅读次数:
600
一.文献名字和作者 Convolutional Neural Networks at Constrained Time Cost,CVPR 2015 二.阅读时间 2015年6月30日三.文献的目的 作者希望在保持计算复杂度的前提下,通过改动模型深度和卷积模板的參数来提高CNN的准确率。作者通过.....
分类:
Web程序 时间:
2016-01-03 17:32:55
阅读次数:
183
这一章可能是Andrew Ng讲得最不清楚的一章,为什么这么说呢?这一章主要讲后向传播(Backpropagration, BP)算法,Ng花了一大半的时间在讲如何计算误差项$\delta$,如何计算$\Delta$的矩阵,以及如何用Matlab去实现后向传播,然而最关键的问题——为什么要这么计算?...
分类:
Web程序 时间:
2015-12-27 23:13:30
阅读次数:
296
动机(Motivation)对于非线性分类问题,如果用多元线性回归进行分类,需要构造许多高次项,导致特征特多学习参数过多,从而复杂度太高。神经网络(Neural Network)一个简单的神经网络如下图所示,每一个圆圈表示一个神经元,每个神经元接收上一层神经元的输出作为其输入,同时其输出信号到下一层...
分类:
Web程序 时间:
2015-12-24 00:26:50
阅读次数:
303
论文题目Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network, 链接该篇论文是IJCV 2014的, 文章的核心multi-tasks的joint tran...
分类:
Web程序 时间:
2015-12-14 15:57:53
阅读次数:
316