本文参考 "深入浅出 梯度下降法及其实现" ，对后面将公式转化为矩阵的形式加了些解释，便于大家理解。 梯度下降 是用来求函数最小值点的一种方法，所谓梯度在一元函数中是指某一点的斜率，在多元函数中可表示为一个向量，可由偏导求得，此向量的指向是函数值上升最快的方向。公式表示为： $$ \nabla J( ...
分类：
其他好文 时间：
2019-06-07 23:14:57
阅读次数：
131
在统计学中，线性回归（英语：linear regression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归（multivaria ...
分类：
其他好文 时间：
2019-06-06 10:46:39
阅读次数：
135
在许多线性回归问题中都可以选择最小二乘法作为代价函数，在之前的文章线性代数——最小二乘法和投影矩阵中讲到过，系数项是可以通过公式 x=(ATA)^-1*ATb 一次性求到的，然而大量的训练数据可能使得ATA没有逆，即便是利用伪逆，其计算量也会很大，所以才有了梯度下降来迭代系数的方法。 梯度下降法分许 ...
分类：
其他好文 时间：
2019-06-05 20:14:17
阅读次数：
114
bp(back propagation)修改每层神经网络向下一层传播的权值,来减少输出层的实际值和理论值的误差 其实就是训练权值嘛 训练方法为梯度下降法 其实就是高等数学中的梯度,将所有的权值看成自变量,误差E作为因变量 即E=f(w1,w2,w3,....,wk)//这些w就是每一层向下一层转移的 ...
分类：
其他好文 时间：
2019-06-01 21:33:35
阅读次数：
101
学习率 learning_rate：表示了每次参数更新的幅度大小。学习率过大，会导致待优化的参数在最 小值附近波动，不收敛；学习率过小，会导致待优化的参数收敛缓慢。 在训练过程中，参数的更新向着损失函数梯度下降的方向。 参数的更新公式为： 𝒘𝒏+𝟏 = 𝒘𝒏 ? 𝒍𝒆𝒂𝒓𝒏𝒊? ...
分类：
其他好文 时间：
2019-06-01 21:17:11
阅读次数：
121
有监督学习--简单线性回归模型（梯度下降法代码实现）0.引入依赖1.导入数据（data.csv）2.定义损失函数3.定义模型的超参数4.定义核心梯度下降模型函数5.测试：运行梯度下降算法，计算最优的 w 和 b6.画出拟合曲线7.附录-测试数据 有监督学习--简单线性回归模型（梯度下降法代码实现） ...
分类：
其他好文 时间：
2019-05-18 09:35:15
阅读次数：
135
LFM--梯度下降法--实现基于模型的协同过滤0.引入依赖1.数据准备2.算法的实现3.测试 LFM--梯度下降法--实现基于模型的协同过滤 0.引入依赖 import numpy as np # 数值计算、矩阵运算、向量运算import pandas as pd # 数值分析、科学计算 1.数据准 ...
分类：
其他好文 时间：
2019-05-18 09:26:56
阅读次数：
165
逻辑回归模型是针对线性可分问题的一种易于实现而且性能优异的分类模型。 它假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降法来求解参数，来达到将数据二分类的目的。 算法推导 引入几率比（odds）：指一个事件发生的概率与不发生概率的比值。对其求log，可得： $$ logit(p) = ...
分类：
其他好文 时间：
2019-05-15 16:08:09
阅读次数：
178
在使用梯度下降法进行过程中，为了减少可能进行局部最小采用的代价函数变化情况（二分类）： 除梯度下降法的其它方案：更有效但是更复杂。 使用Octave运行，自定义好代价函数并让其返回代价函数公式和代价函数每个梯度，自定义options，自定义初始化Theta，使用函数fminunc进行计算。 得到最终 ...
分类：
其他好文 时间：
2019-05-02 18:48:39
阅读次数：
141
第十八节逻辑回归之交叉熵损失函数梯度求解过程(3) 上一节中，我们讲解了交叉熵损失函数的概念，目标是要找到使得损失函数最小的那组θ，也就是l(θ)最大，即预测出来的结果在训练集上全部正确的概率最大。那我们怎么样找到我们的最优解呢？上节中提出用梯度下降法求解，本节的话我们对其具体细节展开。 先来看下我 ...
分类：
其他好文 时间：
2019-04-30 19:51:12
阅读次数：
121
