学习率learning_rate: 学习率表示每次参数更新的幅度 1.表达式：Wn+1 = Wn - learning_rate * ▽ Wn+1：更新后的参数 Wn：当前参数 learning_rate：学习率 ▽：损失函数的梯度（导数） 也就是参数的更新向着梯度下降的方向 2.定义损失函数 lo ...
分类：
其他好文 时间：
2019-09-09 11:42:19
阅读次数：
241
机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法，诸如SVM，GBDT，Adaboost，现在深度学习很火热，神经网络也是一个不错的选择。 假如你在乎精度（a ...
分类：
编程语言 时间：
2019-09-08 09:33:58
阅读次数：
219
没有数据标准化的版本，效率非常高，而且训练结果并不好。 ...
分类：
编程语言 时间：
2019-09-04 19:22:53
阅读次数：
297
目录 1. 为什么需要RNN 2. LSTM的结构 3. LSTM网络 4. RNN 的评估 5. RNN的应用 6. Attention-based model 1. 为什么需要RNN？ 传统的神经网络，一个输入会对应一个输出，如果输入不变，那输出也不会变。如下，一个Tappei是属于目的地类的， ...
分类：
其他好文 时间：
2019-09-03 22:45:12
阅读次数：
116
参考：1，https://cloud.tencent.com/developer/news/339893 2，https://www.zhihu.com/question/22199657 ...
分类：
其他好文 时间：
2019-09-03 00:10:09
阅读次数：
116
梯度的实现： 梯度下降法的实现： 神经网络的梯度 下面，我们以一个简单的神经网络为例，来实现求梯度的代码： 学习算法的实现： 前提 神经网络存在合适的权重和偏置，调整权重和偏置以便拟合训练数据的过程称为“学习”。神经网络的学习分成下面 4 个步骤。 步骤 1（mini-batch） 从训练数据中随机 ...
分类：
编程语言 时间：
2019-09-02 13:45:39
阅读次数：
140
1. 感知器有一个问题，当面对的数据集不是线性可分的时候，『感知器规则』可能无法收敛，这意味着我们永远也无法完成一个感知器的训练。为了解决这个问题，我们使用一个可导的线性函数来替代感知器的阶跃函数，这种感知器就叫做线性单元。线性单元在面对线性不可分的数据集时，会收敛到一个最佳的近似上。这样替换了激活 ...
分类：
其他好文 时间：
2019-09-01 18:52:34
阅读次数：
128
1、GBDT模型介绍； 2、GBDT回归算法 3、GBDT分类算法 4、GBDT的损失函数 5、正则化 6、GBDT的梯度提升与梯度下降法的梯度下降的关系； 7、GBDT的优缺点 1、GBDT模型介绍； GBDT(Gradient Boosting Decision Tree) 又名：MART（Mu ...
分类：
其他好文 时间：
2019-09-01 14:45:08
阅读次数：
697
使用autograd来自动求导 在机器学习中，我们通常使用梯度下降来更新模型参数从而求解。损失函数关于模型参数的梯度指向一个可以降低损失函数值的方向，我们不断地沿着梯度的方向更新模型从而最小化损失函数。虽然梯度计算比较直观，但对于复杂的模型，例如多达数十层的神经网络，手动计算梯度非常困难。 为此MX ...
分类：
其他好文 时间：
2019-09-01 13:03:57
阅读次数：
121
