numpy、tensorflow手写SkipGram(没有negative sampling)和cbow： http://www.claudiobellei.com/2018/01/07/backprop-word2vec-python/ 这两种实现都需要动手算梯度，手动实现梯度下降，且不没有使用n ...
分类：
其他好文 时间：
2020-07-10 18:47:16
阅读次数：
53
回顾梯度下降和正规方程：https://www.cnblogs.com/ssyfj/p/12788147.html 一：正规方程解法 （一）加载数据 import numpy as np import matplotlib.pyplot as plt def loadDataSet(filename ...
分类：
其他好文 时间：
2020-07-10 00:42:42
阅读次数：
227
Reference：李航 --《统计学习方法》 10 种主要的统计学习方法概括总结 方法 适用问题 模型特点 模型类型 学习策略 学习的损失函数 学习算法 感知机 二类分类 分离超平面 判别模型 极小化误分点到超平面距离 误分点到超平面距离 随机梯度下降 k 近邻 多类分类，回归 特征空间，样本点 ...
分类：
其他好文 时间：
2020-07-06 14:36:46
阅读次数：
104
参考文献 An overview of gradient descent optimization algorithms 梯度下降 GD(Gradient Descent) 梯度方向是函数变化率最大的方向，是函数增长最快的方向。 梯度的反方向是函数减少的最快方向。 ex: 从山上走到谷底 \(x_j ...
分类：
编程语言 时间：
2020-06-27 09:53:45
阅读次数：
125
import paddle.fluid as fluidimport numpy#定义数据train_data = [[0], [1], [2], [3], [4], [5], [10]]y_true = [[3], [13], [23], [33], [43], [53], [103]]#定义网络 ...
分类：
其他好文 时间：
2020-06-26 14:52:44
阅读次数：
57
深度学习 – 自适应线性单元 如前所述，在 20 世纪 50 年代，感知器 (Rosenblatt, 1956, 1958) 成为第一个能根据每个类别的输入样本来学习权重的模型。约在同一时期，自适应线性单元 (adaptive linearelement, ADALINE) 简单地返回函数 f(x) ...
分类：
其他好文 时间：
2020-06-23 19:17:52
阅读次数：
59
SVI变分推断的前两篇介绍了变分推断的构造方法、目标函数以及优化算法CAVI，同时上一篇末尾提到，CAVI并不适用于大规模的数据的情况，而这一篇将要介绍一种随机优化（stochastic optimization）的方法。这种优化方法与随机梯度下降（Stochastic Gradient Desce ...
分类：
其他好文 时间：
2020-06-23 01:00:54
阅读次数：
76
最近一个月项目好忙，终于挤出时间把这篇 BP 算法基本思想写完了，公式的推导放到下一篇讲吧。 一、神经网络的代价函数 神经网络可以看做是复杂逻辑回归的组合，因此与其类似，我们训练神经网络也要定义代价函数，之后再使用梯度下降法来最小化代价函数，以此来训练最优的权重矩阵。 1.1 从逻辑回归出发 我们从 ...
分类：
编程语言 时间：
2020-06-20 00:46:05
阅读次数：
98
(一)、什么是Adam算法?Adam（Adaptive momentum）是一种自适应动量的随机优化方法（A method for stochastic optimization），经常作为深度学习中的优化器算法。 (二)、Adam算法如何实现？ ? ...
分类：
编程语言 时间：
2020-06-19 21:04:55
阅读次数：
82
作者|Renu Khandelwal 编译|VK 来源|Medium 什么是梯度下降? 梯度下降法是一种减少成本函数的迭代机器学习优化算法，使我们的模型能够做出准确的预测。 成本函数(C)或损失函数度量模型的实际输出和预测输出之间的差异。成本函数是一个凸函数。 为什么我们需要梯度下降? 在神经网络中 ...
分类：
其他好文 时间：
2020-06-17 19:53:07
阅读次数：
51
