Hulu优秀的作者们每天和公式抗争，只为提升你们的技能，感动的话就把文章看完，然后哭一个吧。 今天的内容是 【随机梯度下降法】 场景描述 深度学习得以在近几年迅速占领工业界和学术界的高地，重要原因之一是数据量的爆炸式增长。如下图所示，随着数据量的增长，传统机器学习算法的性能会进入平台期，而深度学习算 ...
分类：
其他好文 时间：
2018-02-27 23:40:05
阅读次数：
401
这是本周第二篇机器学习，也是Hulu面试题系列的第十七篇了~ 之前的所有内容都可以在菜单栏的“机器学习”中找到，愿你温故，知新。 今天的内容是 【随机梯度下降算法之经典变种】 场景描述 提到Deep Learning中的优化方法，人们都会想到Stochastic Gradient Descent ( ...
分类：
编程语言 时间：
2018-02-27 21:29:51
阅读次数：
675
1. stochastic gradient decent（CGD） 将data分小批放入神经网络中进行计算 W += -Learning rate * dx 缺点：选择合适的learning rate比较困难 速度慢 容易收敛到局部最优，并且在某些情况下可能被困在鞍点 2. momentum 模拟 ...
分类：
其他好文 时间：
2018-02-26 17:47:06
阅读次数：
479
1.竖直分割线 /*使用伪元素制作导航列表项分隔线*/ .nav li{background:linear-gradient(to bottom,#dd2926,#a82724,#dd2926) no-repeat right / 1px 15px;} /*删除第一项和最后一项导航分隔线*/ .na ...
分类：
Web程序 时间：
2018-02-25 14:45:57
阅读次数：
185
linear-grident的属性和使用 css3新增Gradient属性，用来增加渐变的效果，渐变分为线性渐变 linear-grident 和 径向渐变 radial-grident，这篇文章主要介绍线性渐变linear-grident 。 linear-grident语法： backgroun ...
分类：
其他好文 时间：
2018-02-23 18:58:02
阅读次数：
259
1.1.2 Building basic functions with numpy 1.1.2.2 numpy.exp, sigmoid, sigmoid gradient 1.1.2.3 numpy.reshape(), numpy.shape 1.1.2.4 Normalizing rows n ...
分类：
其他好文 时间：
2018-02-22 10:58:15
阅读次数：
929
Optimization algorithms 优化算法以加速训练。 Mini batch gradient descend Batch gradient descend：每一小步梯度下降否需要计算所有的训练样本。很耗时。 Mini batch gradient descend：将训练集分为很多小的 ...
分类：
其他好文 时间：
2018-02-18 13:25:56
阅读次数：
217
一、Variable类源码简介 二、Variable类和计算图 简单的建立一个计算图，便于理解几个相关知识点： requires_grad参数：是否要求导数，默认False，叶节点指定True后，依赖节点都被置为True .backward()方法：根Variable的方法会反向求解叶Variabl ...
分类：
其他好文 时间：
2018-02-14 23:16:40
阅读次数：
505
hash、chunkhash、contenthash hash一般是结合CDN缓存来使用，通过webpack构建之后，生成对应文件名自动带上对应的MD5值。如果文件内容改变的话，那么对应文件哈希值也会改变，对应的HTML引用的URL地址也会改变，触发CDN服务器从源服务器上拉取对应数据，进而更新本地 ...
分类：
Web程序 时间：
2018-02-06 20:19:44
阅读次数：
333
梯度下降法 一种无约束的优化算法 1.1梯度 在微积分里面，对多元函数的参数求?偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。 for example . 几何意义： 函数变化增加最快的方向，换句话说，沿梯度向量的方向，容易找到函数的最大值。梯度向量相反的方向，是函数减小最快的方向， ...
分类：
系统相关 时间：
2018-02-04 22:36:26
阅读次数：
249
