与学习相关的技巧 参数的更新 SGD $W \leftarrow W \eta \frac{\partial L}{\partial W}$ 缺点:如果函数的形状非均向(anisotropic),搜索的路径会非常低效.梯度的方向并没有指向最小值的方向.呈"之"字形向最小值移动,效率低. Moment ...
分类：
其他好文 时间：
2020-02-05 13:38:07
阅读次数：
71
虽然之前已经大概介绍了关于神经网络的基本结构，但是对于神经网络来说，还有很多可以提升的地方，包括不限于：参数的初始化，正则化，检测方式，除了梯度下降以外的优化算法，超参的调试，批量标准化，和TensorFlow等等。下面我们依次来介绍。 参数的初始化 由于 梯度消失/爆炸 的原因，参数的初始化关系着 ...
分类：
其他好文 时间：
2020-02-04 22:07:11
阅读次数：
95
强化学习算法类型 策略梯度：可直接区别以上的目标 基于值：估计最优策略（不明确哪个是最优的策略情况下估计）的值函数和Q函数 Actor-critic（演员-评论家）：使用当前策略去估计值函数和Q函数来改进策略 基于模型：估计转换模型，接着 1.让该模型去规划不明确的策略 2.让该模型去改进策略 3. ...
分类：
其他好文 时间：
2020-02-04 12:16:47
阅读次数：
71
How much position information do convolutional neural network encode? Intro 文章是ICML2020的一个工作，探究了CNN到底有没有编码位置信息，这些位置信息在哪些神经元中被编码、这些位置信息又是如何被暴露给神经网络学习的。 ...
分类：
Web程序 时间：
2020-02-04 10:46:40
阅读次数：
248
网络结构如下： 代码如下： 1 # encoding: utf-8 2 3 import tensorflow as tf 4 from tensorflow import keras 5 from tensorflow.keras import layers, Sequential, losses ...
分类：
Web程序 时间：
2020-02-01 14:21:02
阅读次数：
217
1、梯度下降思想在数学中的梯度下降是：xk+1=xk+λkPkλk表示步长Pk表示方向，沿梯度方向下降最快沿着方向不断更新x，直到x达到最小为了得到最好的拟合线，我们的目标是让损失函数达到最小因此，引入梯度下降的思想：条件：有一个J(θ0，θ1)目标：让J(θ0，θ1)最小步骤：1、初始化θ0，θ12、持续改变θ0，θ1的值，让J(θ0，θ1)越来越小3、直到得到一个J(θ0，θ1)的最小值2、梯
分类：
编程语言 时间：
2020-02-01 00:35:31
阅读次数：
104
参考文献：https://blog.csdn.net/guanxs/article/details/102471843 在TensorFlow 1.x静态图时代，我们知道每个静态图都有两部分，一部分是前向图，另一部分是反向图。反向图就是用来计算梯度的，用在整个训练过程中。而TensorFlow 2. ...
分类：
其他好文 时间：
2020-01-31 20:59:22
阅读次数：
576
一阶导数与Soble算子 二阶导数与拉普拉斯算子 图像边缘： Soble算子： 二阶导数： 拉普拉斯算子： ...
分类：
编程语言 时间：
2020-01-31 01:13:41
阅读次数：
137
一、牛顿方法： 基本思想是利用迭代点$x_k$处的一阶导数(梯度)和二阶导数(Hessen矩阵)对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点，并不断重复这一过程，直至求得满足精度的近似极小值。 对于f(x)=0,求解x; 初始化$\theta$ ,然后一直迭代：$\theta^{ ...
分类：
其他好文 时间：
2020-01-30 23:00:59
阅读次数：
88
导数 导数是一个数，函数y(x)在x0点的导数y'(x0)反应了在x0处y随x的变化快慢 微分 微分指函数值的微小变化 在x0可微：在x0点y和x的微分成线性关系（只与该点函数值有关） 导数可看做函数的微分与自变量的微分之商，故导数又称微商 偏导数 函数在一点处沿坐标轴的变化率 方向导数 函数在一点 ...
分类：
编程语言 时间：
2020-01-29 22:00:26
阅读次数：
96
