SGD 梯度下降法根据每次更新参数时使用的样本数量分为Stochastic Gradient Descent(随机梯度下降法，SGD)、mini-batch Gradirnt Descent(小批量梯度下降法，mBGD)和Batch Gradient Descent(批量梯度下降法，BGD)三种。通... ...
分类：
其他好文 时间：
2019-04-11 10:41:24
阅读次数：
184
2019年4月1日21:32:02 今天阅读了Charu C . Aggarwal 著作《推荐系统-原理与实践》，主要内容包括 矩阵分解 1、无约束矩阵分解 a) ,满足U和V上无约束 b) 预测矩阵R的（i，j）位置的值 c) d) 梯度求导需要对同时求导 2、随机梯度下降 a) 对矩阵中是数据进 ...
分类：
其他好文 时间：
2019-04-02 10:30:29
阅读次数：
311
一般线性回归函数的假设函数为： 对应的损失函数为： （这里的1/2是为了后面求导计算方便）下图作为一个二维参数（，）组对应能量函数的可视化图： 下面我们来比较三种梯度下降法 批量梯度下降法BGD （Batch Gradient Descent） 我们的目的是要误差函数尽可能的小，即求解weights ...
分类：
其他好文 时间：
2019-03-17 14:11:58
阅读次数：
237
logistic回归 梯度上升法 做图 随机梯度上升 随机梯度上升改进 从疝气病预测病马的死亡率 ...
分类：
其他好文 时间：
2019-03-06 14:56:59
阅读次数：
184
梯度下降： 1，批量梯度（BGD），随机梯度下降法（SGD），小批量梯度下降法（MBGD）的区别 2，和最小二乘比较 1，梯度下降法需要选择步长，而最小二乘法不需要。 2，梯度下降法是迭代求解，最小二乘法是计算解析解。 3，最小二乘仅适用数据量较小的情况下 3，和牛顿法比较 1，梯度下降法是梯度求解 ...
分类：
其他好文 时间：
2019-02-22 10:39:45
阅读次数：
184
梯度下降是机器学习中用来使模型逼近真实分布的最小偏差的优化方法。 在普通的随机梯度下降和批梯度下降当中，参数的更新是按照如下公式进行的： W = W - αdW b = b - αdb 其中α是学习率，dW、db是cost function对w和b的偏导数。 随机梯度下降和批梯度下降的区别只是输入的 ...
分类：
编程语言 时间：
2019-01-28 01:12:48
阅读次数：
810
Spark MLlib中分类和回归算法： -分类算法： pyspark.mllib.classification -朴素贝叶斯 NaiveBayes -支持向量机（优化：随机梯度下降）SVMWithSGD -逻辑回归 LogisticRegressionWithSGD // 从Spark 2.0开始 ...
分类：
编程语言 时间：
2019-01-16 19:48:26
阅读次数：
293
Logistic回归一、概述 1. Logistic Regression 1.1 线性回归 1.2 Sigmoid函数 1.3 逻辑回归 1.4 LR 与线性回归的区别 2. LR的损失函数 3. LR 正则化 3.1 L1 正则化 3.2 L2 正则化 3.3 L1正则化和L2正则化的区别 4. ...
分类：
其他好文 时间：
2018-12-31 22:44:04
阅读次数：
265
【1】大规模数据 【2】随机梯度下降 【3】小批量梯度下降 【4】随机梯度下降的收敛 Answer：BD A 错误。学习率太小，算法容易很慢 B 正确。学习率小，效果更好 C 错误。应该是确定阈值吧 D 正确。曲线不下降，说明学习率选的太大 【5】在线学习 【6】 Answer：BC A 错误。随机 ...
分类：
其他好文 时间：
2018-12-27 03:09:42
阅读次数：
260
梯度下降代码：function [ theta, J_history ] = GradinentDecent( X, y, theta, alpha, num_iter )m = length(y);J_history = zeros(20, 1);i = 0;temp = 0;for iter =... ...
分类：
其他好文 时间：
2018-12-25 15:20:47
阅读次数：
738
