模型结构与原理 1. 基于CNN的句子建模 这篇论文主要针对的是句子匹配(Sentence Matching)的问题,但是基础问题仍然是句子建模。首先,文中提出了一种基于CNN的句子建模网络,如下图: 图中灰色的部分表示对于长度较短的句子,其后面不足的部分填充的全是0值(Zero Padding)。 ...
分类:
Web程序 时间:
2018-05-26 18:46:30
阅读次数:
304
文本分类任务中可以利用CNN来提取句子中类似 n-gram 的关键信息。 TextCNN的详细过程原理图见下: keras 代码: 说明如下: 输入层 如图所示,,假设句子有 n 个词,vector的维数为 k ,那么这个矩阵就是 n×k 的。 这个矩阵的类型可以是静态的(static),也可以是动 ...
分类:
Web程序 时间:
2018-05-26 16:44:54
阅读次数:
331
Kalchbrenner’s Paper Kal的这篇文章引用次数较高,他提出了一种名为DCNN(Dynamic Convolutional Neural Network)的网络模型,在上一篇(Kim’s Paper)中的实验结果部分也验证了这种模型的有效性。这个模型的精妙之处在于Pooling的方 ...
分类:
Web程序 时间:
2018-05-26 16:37:58
阅读次数:
241
Recurrent Neural Network是在单个神经元上,除了输入与输出外,添加了一条Recurrent回路。如下图左侧,将前一时刻神经元的输出状态s,作为下一时刻的一个输入值,加权并入输入U中。这一操作使得,某一时刻神经元的输出状态s,依赖于之前各个时刻的状态st-1,st-2,...,s ...
分类:
Web程序 时间:
2018-05-26 10:42:24
阅读次数:
160
背景论文: Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks (https://arxiv.org/abs/1312.6082) 英文车牌迁移参考:http ...
分类:
其他好文 时间:
2018-05-21 10:29:58
阅读次数:
656
1. 基础模型 A. Sequence to sequence model:机器翻译、语音识别。(1. Sutskever et. al., 2014. Sequence to sequence learning with neural networks. 2. Cho et. al., 2014. ...
分类:
其他好文 时间:
2018-05-20 15:23:39
阅读次数:
233
0 引言 Stuttgart Neural Network Simulator(SNNS)是德国斯图加特大学开发的优秀神经网络仿真软件,为国外的神经网络研究者所广泛采用。斯图加特神经网络模拟器(SNNS)是一个图书馆。包含许多标准的神经网络实现方法及函数。这个包包装了SNNS功能,使其可以在r中使用 ...
分类:
其他好文 时间:
2018-05-19 19:39:13
阅读次数:
238
来源 数据库:http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=jsjyjyfz201309002 术语深度学习(deep learning, DL)深度神经网络(deep neural networks, DNN)浅层学习 ...
分类:
其他好文 时间:
2018-05-19 18:25:39
阅读次数:
197
Iris Classification Neural Network Neural Network formula derivation $$ \begin{align} a & = x \cdot w_1 \\ y & = a \cdot w_2 \\ & = x \cdot w_1 \cdot ...
分类:
Web程序 时间:
2018-05-19 15:39:46
阅读次数:
343
通过前面的理论学习,以及关于Error和weight的关系分析,得出的公式,练习做一个自己的神经网络,通过Python3.5: 跟随书上的python introduction,介绍下numpy中的zeros(): 结果是: [[1. 0.] [0. 2.] [0. 5.]] 可以用这个方法来生成矩 ...
分类:
Web程序 时间:
2018-05-18 15:49:36
阅读次数:
266