1.了解不同优化器 2.书写优化器代码3.Momentum4.二维优化，随机梯度下降法进行优化实现5.Ada自适应梯度调节法6.RMSProp7.Adam8.PyTorch种优化器选择 梯度下降法： 1.标准梯度下降法：GD每个样本都下降一次，参考当前位置的最陡方向迈进容易得到局部最优，且训练速度慢 ...
分类：
其他好文 时间：
2019-08-18 19:49:45
阅读次数：
94
目录 1、回顾： 2、常见的激活函数都有哪些？ 3、多层神经网络里面故事： 4、如何训练神经网络？ 1、回顾： 回顾下之前学习的内容。人工神经网络里面有重要的三条内容，一个是加和，加function，把前面的输入所对应模型的权重相乘相加，第二经过一个非线性变化，第三signal out输出。如果把f ...
分类：
其他好文 时间：
2019-08-16 19:04:51
阅读次数：
101
第4章 训练模型 写在前面 参考书 《机器学习实战——基于Scikit Learn和TensorFlow》 工具 python3.5.1，Jupyter Notebook, Pycharm 线性回归算法比较 | 算法 | m很大 | 是否支持核外 | n很大 | 超参数 | 是否需要缩放 | skl ...
分类：
其他好文 时间：
2019-08-16 14:31:57
阅读次数：
78
1. 线性回归 1.1 算法原理 （1）情景：给定一定数量的数据点，通过拟合得到其回归直线，使得所有点到这个直线的距离之和（损失函数）最小。 即：已知各个点的坐标，反求直线表达式的最优系数解。 假定直线参数为θ，则直线表达式为： 得到的直线（平面）表达式应使得损失函数最小，其中损失函数表达式： （2 ...
分类：
其他好文 时间：
2019-07-23 15:32:54
阅读次数：
113
1 线性回归的模型 线性回归的模型十分的简单，就是对回归问题中每一个特征X乘以一个系数，使其拟合到输出Y，线性回归模型就是找到这样一组系数。 线性回归的模型如下： 其中x是数据的特征，是一个d维的列向量，是权重系数，也是一个d维的列向量，y是模型的输出 2 线性回归的损失函数 在做回归问题的时候，模 ...
分类：
其他好文 时间：
2019-07-21 13:24:18
阅读次数：
78
https://www.cnblogs.com/lliuye/p/9451903.html 梯度下降法作为机器学习中较常使用的优化算法，其有着三种不同的形式：批量梯度下降（Batch Gradient Descent）、随机梯度下降（Stochastic Gradient Descent）以及小批量 ...
分类：
其他好文 时间：
2019-07-14 11:19:49
阅读次数：
100
梯度下降算法的大家族： ①批量梯度下降：有N个样本，求梯度的时候就用了N个样本的梯度数据 优点：准确 缺点：速度慢 ②随机梯度下降：和批量梯度下降算法原理相似，区别在于求梯度时没有用所有的N歌样本数据，而是仅仅选取1个来求梯度 优点：速度快 缺点：准去率地 ③小批量梯度下降：批量梯度下降算法和随机梯 ...
分类：
编程语言 时间：
2019-06-12 18:05:34
阅读次数：
144
学习率 learning_rate：表示了每次参数更新的幅度大小。学习率过大，会导致待优化的参数在最 小值附近波动，不收敛；学习率过小，会导致待优化的参数收敛缓慢。 在训练过程中，参数的更新向着损失函数梯度下降的方向。 参数的更新公式为： 𝒘𝒏+𝟏 = 𝒘𝒏 ? 𝒍𝒆𝒂𝒓𝒏𝒊? ...
分类：
其他好文 时间：
2019-06-01 21:17:11
阅读次数：
121
原文地址：https://www.jianshu.com/p/7a049ae73f56 梯度下降优化基本公式：${\theta\leftarrow\theta \eta\cdot\nabla_\theta{J(\theta)}}$ 一、三种梯度下降优化框架 这三种梯度下降优化框架的区别在于每次更新模 ...
分类：
其他好文 时间：
2019-05-03 16:43:57
阅读次数：
112
在机器学习领域中，有一个重要的假设：独立同分布假设，也就是假设训练数据和测试数据是满足相同分布的，否则在训练集上学习到的模型在测试集上的表现会比较差。而在深层神经网络的训练中，当中间神经层的前一层参数发生改变时，该层的输入分布也会发生改变，也就是存在内部协变量偏移问题（Internal Covari ...
分类：
其他好文 时间：
2019-04-23 20:35:05
阅读次数：
139
