最近找了十几篇神经网络注意力机制的论文大概读了一下。这篇博客记录一下其中一篇，这篇论文大概只看了摘要，方法，实验只是大概看了一下。文中提出一种残差级联卷积神经网络，这个网络可以分为俩部分，一种是CF-Conv(coarse-fine convolution)此结构利用了多种卷积在网络中是用来提取图像 ...
分类：
其他好文 时间：
2020-07-05 17:01:54
阅读次数：
75
在我们使用tensorflow时，如果不能使用函数式api进行编程，那么一些复杂的神经网络结构就不会实现出来，只能使用简单的单向模型进行一层一层地堆叠。如果稍微复杂一点，遇到了Resnet这种带有残差模块的神经网络，那么用简单的神经网络堆叠的方式则不可能把这种网络堆叠出来。下面我们来使用函数式API ...
恒等块（Identity block） 和图中不同，下例中会跳过三个隐藏层，且路径中每一步先进行卷积操作，再Batch归一化，最后进行Relu激活。 相关函数： 实现Conv2D：参见这里 实现BatchNorm：参见这里 实现激活：使用Activation('relu')(X) 添加快捷方式传递的 ...
分类：
其他好文 时间：
2020-06-23 15:13:29
阅读次数：
49
（1）为什么残差学习的效果会如此的好？与其他论文相比，深度残差学习具有更深的网络结构,此外，残差学习也是网络变深的原因？为什么网络深度如此的重要？ 解：一般认为神经网络的每一层分别对应于提取不同层次的特征信息，有低层，中层和高层，而网络越深的时候，提取到的不同层次的信息会越多，而不同层次间的层次信息 ...
分类：
其他好文 时间：
2020-06-22 21:16:29
阅读次数：
54
梯度消失问题和梯度爆炸问题，总的来说可以称为梯度不稳定问题。 【要背住的知识】：用ReLU代替Sigmoid，用BN层，用残差结构解决梯度消失问题。梯度爆炸问题的话，可以用正则化来限制。sigmoid的导数是【0，0.25】. 出现原因 两者出现原因都是因为链式法则。当模型的层数过多的时候，计算梯度 ...
分类：
其他好文 时间：
2020-06-21 19:49:49
阅读次数：
93
GCN、GAT、GraphSAGE 的优势很明显，想问一下它们分别有什么缺点? 最近在看GCN有关的文章，发现网络层数深了之后，效果不佳，如果加入残差网络的话，会得到改善吗，是否有必要去加深GCN的网络层数呢？除此之外，这三样模型还有什么缺点呢 dongZheX 回答你第一个问题。 gcn 增加深度 ...
分类：
其他好文 时间：
2020-06-19 01:19:10
阅读次数：
335
神经网络 BPNN 感知机 神经网络入门 反向传播 tensorflow tf基础 控制依赖项 变量命名域和tensorboard 一元线性回归 模型持久化 交叉熵 global_steps的使用 手写数据集实现 CNN 激活函数 CNN过拟合 手写数据集CNN模型 权重初始化-CNN 批归一化 自 ...
分类：
其他好文 时间：
2020-06-18 17:49:05
阅读次数：
63
V-Net网络是图像分割中以3D结构存在的编解码网络模型 V-Net网络在编码层引入残差结构。残差结构中，除了正常的卷积操作，还将卷积前的输入直接短路连接到输出端，这样网络可以学习到一个残差函数。学习残差可以加速收敛。编码网络用5×5×5卷积来提取图像特征，用步长为2，尺寸为2×2×2的卷积来代替最 ...
分类：
Web程序 时间：
2020-05-31 10:42:32
阅读次数：
100
ResNet 其他不带残差的网络（plain-CNN）中： 56层的网络比20层的网络，无论是trainning set 还是test set都要表现差 问题： 1) 优化问题，梯度在传播过程中出现梯度消失，或者梯度爆炸 2） weight_matrix_decay 1. Batch Normali ...
分类：
Web程序 时间：
2020-05-28 19:57:38
阅读次数：
75
1.概念简述 （1）AR模型 AR 模型(auto regressive model)自回归模型，模型参量法高分辨率谱分析方法之一，也是现代谱估计中常用的模型。 用AR模型法求信具体作法是： ①选择AR模型，在输入是冲激函数或白噪声的情况下，使其输出等于所研究的信号，至少，应是对该信号的一个好的近似 ...
分类：
其他好文 时间：
2020-05-24 19:23:16
阅读次数：
166
