ResNet 其他不带残差的网络（plain-CNN）中： 56层的网络比20层的网络，无论是trainning set 还是test set都要表现差 问题： 1) 优化问题，梯度在传播过程中出现梯度消失，或者梯度爆炸 2） weight_matrix_decay 1. Batch Normali ...
分类：
Web程序 时间：
2020-05-28 19:57:38
阅读次数：
75
在SSD的代码中经常有见到如下的操作： _, idx = flt[:, :, 0].sort(1, descending=True)#大小为[batch size, num_classes*top_k] _, rank = idx.sort(1)#再对索引升序排列，得到其索引作为排名rank 其作用 ...
分类：
编程语言 时间：
2020-05-28 19:54:27
阅读次数：
125
动机：实际训练时，由于batch都很小，因此每次BN的效果并没这么好。希望BN时能解决这个batch_size的影响。 https://blog.csdn.net/u014380165/article/details/79810040 https://www.cnblogs.com/jins-not ...
分类：
其他好文 时间：
2020-05-27 20:33:36
阅读次数：
73
有时候oracle的最后一个sql少个分号，要在end前面加上分号 oracle和mysql数据库的批量update在mybatis中配置不太一样： oracle数据库： <update id="batchUpdate" parameterType="java.util.List"> <foreac ...
分类：
数据库 时间：
2020-05-27 15:29:53
阅读次数：
108
[TOC] "Keskar N S, Mudigere D, Nocedal J, et al. On Large Batch Training for Deep Learning: Generalization Gap and Sharp Minima[J]. arXiv: Learning, 2 ...
分类：
其他好文 时间：
2020-05-24 20:49:06
阅读次数：
69
tensorflow中的数据集类Dataset有一个shuffle方法，用来打乱数据集中数据顺序，训练时非常常用。其中shuffle方法有一个参数buffer_size，非常令人费解，文档的解释如下： buffer_size: A tf.int64 scalar tf.Tensor, represe ...
分类：
其他好文 时间：
2020-05-21 17:43:28
阅读次数：
145
本文在调参记录23的基础上，增加卷积核的个数，最少是64个，最多是256个，继续测试深度残差网络+自适应参数化ReLU激活函数在cifar10数据集上的效果。 自适应参数化ReLU激活函数被放在了残差模块的第二个卷积层之后，它的基本原理如下： Keras程序： #!/usr/bin/env pyth ...
分类：
其他好文 时间：
2020-05-21 10:03:22
阅读次数：
53
神经网络的超参数有： 1. 学习率 2. 迭代次数 iteration 3. 隐藏层数 L 4. 激活函数 5. momentum 6. mini batch 7. 正则化参数 …… 1. 看training集的误差 考虑 1.是否需要加深网络 2.加长训练时间 3.尝试更先进的optimize算法... ...
分类：
其他好文 时间：
2020-05-20 21:40:04
阅读次数：
68
近期库房想在出库存放区划分货位存放不同客户拣货后的商品数据。同时需要在货位摆放屏幕以便显示当前货位被那个客户拣货占用，及商品信息、拣货状态等 由于独立项目，数据来源于api接口，所以只是一个客户端轮播即可。故拿wpf来试试demo 设计为： 1、一个主界面为控制台控制第2,3,....屏显示不同客户 ...
