CNN中减少参数的2两个规则： 1、局部感知。生物学中，视觉皮层的神经元是局部感知信息的，只响应某些特定区域的刺激；图像的空间联系中，局部的像素联系较为紧密，距离较远的像素相关性较弱。 这个对应于算法中卷积核的大小，mnist手写识别在28*28的像素中取patch为5*5。 上图中：左边是全连接， ...
分类：
其他好文 时间：
2017-12-15 16:17:45
阅读次数：
114
基本概念： Neural Networks：神经网络，由具有适应性的简单单元组成的广泛并行互联的网络，能够模拟生物神经系统对真实物体之间做出的交互反应 Neuron：神经元，神经网络的组成单元，收到的输入超过阀值时，会被激活，并传递信息到下一级神经元。 M-P神经元模型：每个神经元接收到来自n个其他 ...
分类：
其他好文 时间：
2017-12-07 21:19:15
阅读次数：
100
实体识别和关系抽取是例如构建知识图谱等上层自然语言处理应用的基础。实体识别可以简单理解为一个序列标注问题：给定一个句子，为句子序列中的每一个字做标注。因为同是序列标注问题，除去实体识别之外，相同的技术也可以去解决诸如分词、词性标注等不同的自然语言处理问题。 说到序列标注直觉是会想到RNN的结构。现在 ...
分类：
其他好文 时间：
2017-12-05 18:52:57
阅读次数：
399
引子 对于一个特征数比较大的非线性分类问题，如果采用先前的回归算法，需要很多相关量和高阶量作为输入，算法的时间复杂度就会很大，还有可能会产生过拟合问题，如下图： 这时就可以选择采用神经网络算法。 神经网络算法最早是人们希望模仿大脑的学习功能而想出来的。 一个神经元，有多个树突(Dendrite)作为 ...
分类：
Web程序 时间：
2017-12-03 21:47:44
阅读次数：
292
什么是自组织映射？ 一个特别有趣的无监督系统是基于 竞争性学习 ，其中输出神经元之间竞争激活，结果是在任意时间只有一个神经元被激活。这个激活的神经元被称为 胜者神经元（winner takes all neuron） 。这种竞争可以通过在神经元之间具有 横向抑制连接 （负反馈路径）来实现。其结果是神 ...
分类：
其他好文 时间：
2017-12-01 23:23:26
阅读次数：
404
人工神经网络(ann) 模拟的是 生物神经网络(bnn) ann 一般也叫 前馈型神经网络 ： 各神经元只接受前一级输入，并输出到下一级，无反馈 应该也有反馈型神经网络？？ ann一般使用bp(back-propagation 后向传播) 学习方法，来学习每一个神经元的 w参数和增强信号b，不断迭代 ...
分类：
其他好文 时间：
2017-11-29 21:58:43
阅读次数：
144
https://www.cnblogs.com/subconscious/p/5058741.html 神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向--深度学习的基础。学习神经网络不仅可以让你掌握一门强大的机器学习方法，同时也可以更好地帮助你理解深度学习技术。 本文以一种简单的，循序 ...
分类：
其他好文 时间：
2017-11-29 17:03:07
阅读次数：
208
神经网络是在模仿大脑中的神经元或者神经网络时发明的。因此，要解释如何表示模型假设，我们先来看单个神经元在大脑中是什么样的。如下图，我们的大脑中充满了神经元，神经元是大脑中的细胞，其中有两点值得我们注意，一是神经元有细胞主体，二是神经元有一定数量的输入神经。这些输入神经叫做树突，可以把它们想象成输入电 ...
分类：
Web程序 时间：
2017-11-26 18:42:31
阅读次数：
229
本文的主要参考：How the backpropagation algorithm works 下面是BP网络的参数结构示意图 首先定义第l层网络第j个神经元的输出(activation) 为了表示简便，令 则有alj=σ(zlj)，其中σ是激活函数 定义网络的cost function，其中的n是 ...
分类：
其他好文 时间：
2017-11-26 00:43:24
阅读次数：
186
中文翻译 1、神经元的计算是什么？(B) A. 在将输出应用到激活函数之前, 神经元计算所有特征的平均值 B. 神经元计算一个线性函数 (z = Wx + b), 然后是一个激活函数 C. 神经元计算一个激活函数, 后跟一个线性函数 (z = Wx + b) D. 一个神经元计算一个函数 g, 它将 ...
分类：
Web程序 时间：
2017-11-09 18:42:48
阅读次数：
206
