Training | TensorFlow tf 下以大写字母开头的含义为名词的一般表示一个类（class） 1. 优化器（optimizer） 优化器的基类（Optimizer base class）主要实现了两个接口，一是计算损失函数的梯度，二是将梯度作用于变量。tf.train 主要提供了如下 ...
分类：
编程语言 时间：
2019-01-28 23:05:26
阅读次数：
228
"传送门" $N \leq 19$…… 不难想到一个状压：设$f_{i,j,k}$表示开头为$i$、结尾为$j$、经过的点数二进制下为$k$的简单路总数，贡献答案就看$i,j$之间有没有边。 当然，会有一些问题：①路会算重；②$2^NN^2$的数组开不下（当然②才是重点），所以考虑优化算法 考虑类似 ...
分类：
其他好文 时间：
2019-01-25 21:05:45
阅读次数：
180
(我们这块说升序思想) 排序思想：第一趟，从第一个记录开始到第n个记录，对n-1对相邻的两个记录关键字进行比较，若前者大于后者，两者进行交换，这样一趟结束后，最大的元素就在数组的末尾；第二趟，从第一个记录开始到第n-1个记录，对n-2对相邻的两个记录关键字进行比较，若前者大于后者，两者进行交换，这样 ...
分类：
编程语言 时间：
2019-01-18 12:56:38
阅读次数：
173
算法 今天给大家带来一篇关于算法排序的分类,算法的时间复杂度,空间复杂度,还有怎么去优化算法的文章,喜欢的话,可以关注,有什么问题,可以评论区提问,可以与我私信,有什么好的意见,欢迎提出. 前言: 算法的复杂度分为时间复杂度与空间复杂度,时间复杂度指执行算法需要需要的计算工作量,空间复杂度值执行算法 ...
分类：
编程语言 时间：
2018-12-30 13:58:54
阅读次数：
269
我们初学的算法一般都是从SGD入门的，参数更新是： 它的梯度路线为： 但是可以看出它的上下波动很大，收敛的速度很慢。因此根据这些原因，有人提出了Momentum优化算法，这个是基于SGD的，简单理解，就是为了防止波动，取前几次波动的平均值当做这次的W。这个就用到理论的计算梯度的指数加权平均数，引进超 ...
分类：
编程语言 时间：
2018-12-27 15:12:22
阅读次数：
212
"组长博客" "宣传视频" "github团队项目仓库" 本组成员 队员姓名与学号 124 王彬（组长） 206 赵畅 215 胡展瑞 320 李恒达 131 佘岳昕 431 王源 206 陈文垚 209 陈志炜 225 林煌伟 Beta博客汇总 第n次|博客地址 | 1| "点我" 2| "点我" ...
分类：
其他好文 时间：
2018-12-23 23:54:10
阅读次数：
182
大致总结一下学到的各个优化算法。 一、梯度下降法 函数的梯度表示了函数值增长速度最快的方向，那么与其相反的方向，就可看作函数减少速度最快的方向。 在深度学习中，当目标设定为求解目标函数的最小值时，只要朝梯度下降的方向前进，就可以不断逼近最优值。 梯度下降主要组成部分： 1、待优化函数f(x) 2、待 ...
分类：
编程语言 时间：
2018-12-17 02:07:53
阅读次数：
258
设想和目标 1. 我们的软件要解决什么问题？是否定义得很清楚？是否对典型用户和典型场景有清晰的描述？ 我们希望通过将ENAS的网络架构优化算法转变为实例化项目，能够在有一定实际意义下解决对于Pytorch图像识别的探索问题。 项目性质为科研项目，由于是依托算法研究产生产品，故对于产品本身性质并不明确 ...
分类：
编程语言 时间：
2018-12-16 11:06:59
阅读次数：
199
1. 凸函数 通常在实际中，最小化的函数有几个极值，所以最优化算法得出的极值不确实是否为全局的极值，对于一些特殊的函数，凸函数与凹函数，任何局部极值也是全局极致，因此如果目标函数是凸的或凹的，那么优化算法就能保证是全局的。 定义1 ：集合$R_c\subset E^n$是凸集，如果对每对点$\tex ...
分类：
编程语言 时间：
2018-12-15 14:56:33
阅读次数：
199
1.Mini-batch 梯度下降（Mini-batch gradient descent) batch gradient descent :一次迭代同时处理整个train data Mini-batch gradient descent: 一次迭代处理单一的mini-batch (X{t} ,Y{ ...
分类：
编程语言 时间：
2018-12-14 15:37:14
阅读次数：
243
