梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量，将当前位置的负梯度方向作为搜索方向（因为在该方向上目标函数下降最快，这也是最速下降法名称的由来）。梯度下降 ...
分类：
编程语言 时间：
2018-05-04 14:05:31
阅读次数：
233
整理自Andrew Ng 的 machine learnig 课程 week1 目录： 什么是机器学习 监督学习 非监督学习 一元线性回归 模型表示 损失函数 梯度下降算法 模型表示 损失函数 梯度下降算法 1、什么是机器学习 Arthur Samuel不是一个playing checker的高手， ...
分类：
系统相关 时间：
2018-04-06 15:20:00
阅读次数：
224
声明：本文参考《 大数据：Spark mlib(三) GradientDescent梯度下降算法之Spark实现》 1. 什么是梯度下降？ 梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对 ...
分类：
编程语言 时间：
2018-03-31 14:45:03
阅读次数：
176
整理自Andrew Ng的machine learning课程。 目录： 梯度下降算法 梯度下降算法的直观展示 线性回归中的梯度下降 前提： 线性回归模型 ：$h(\theta_0,\theta_1)=\theta_0+\theta_1x$ 损失函数：$J(\theta_0,\theta_1)=\f ...
分类：
其他好文 时间：
2018-03-24 21:31:26
阅读次数：
161
机器学习（一）梯度下降算法 因为算法最好能应用到实际问题中才会让读者感到它的真实的用处，因此首先我来描述一个实际问题（梯度下降算法用以帮助解决该问题）：给定一个指定的数据集，比如由若干某一地区的房屋面积和房屋价格这样的数据对（area, price）组成的集合（吴恩达老师的课程是启蒙课程所以举该例子 ...
分类：
编程语言 时间：
2018-03-21 22:26:38
阅读次数：
211
一、神经网络 二、激活函数 三、评价神经网络的效果 四、梯度下降算法 五、参数与超参数区别 六、习题 一、神经网络 neural network w11 a1+w12 a2+w13 a3 + bias1=b1 w21 a1+w22 a2+w23 a3 + bias2=b2 从网络层1到网络层2，可能 ...
分类：
其他好文 时间：
2018-03-01 21:55:07
阅读次数：
155
老朋友了，还用多说什么吗？点击下面的链接复习咯： 17. 随机梯度下降算法之经典变种 18. SVM—核函数与松弛变量 19. 主题模型 20. PCA最小平方误差理论 21. 分类、排序、回归模型的评估 22. 特征工程—结构化数据 23. 神经网络训练中的批量归一化 24. 随机梯度下降法 你可 ...
分类：
其他好文 时间：
2018-02-27 21:32:28
阅读次数：
212
这是本周第二篇机器学习，也是Hulu面试题系列的第十七篇了~ 之前的所有内容都可以在菜单栏的“机器学习”中找到，愿你温故，知新。 今天的内容是 【随机梯度下降算法之经典变种】 场景描述 提到Deep Learning中的优化方法，人们都会想到Stochastic Gradient Descent ( ...
分类：
编程语言 时间：
2018-02-27 21:29:51
阅读次数：
675
梯度下降算法： 线性回归模型： 线性假设： 平方差成本函数： 将各个公式代入，对θ0、θ1分别求偏导得： 再将偏导数代入梯度下降算法，就可以实现寻找局部最优解的过程了。 线性回归的成本函数总是一个凸函数，故梯度下降算法执行后只有一个最小值。 “批”梯度下降：每一个步骤都使用所有的训练样本 ...
分类：
编程语言 时间：
2018-02-21 17:46:25
阅读次数：
190
线性回归 首先要明白什么是回归。回归的目的是通过几个已知数据来预测另一个数值型数据的目标值。 假设特征和结果满足线性关系，即满足一个计算公式h(x)，这个公式的自变量就是已知的数据x，函数值h(x)就是要预测的目标值。这一计算公式称为回归方程，得到这个方程的过程就称为回归。 假设房子的房屋面积和卧室 ...
分类：
编程语言 时间：
2018-02-20 17:30:31
阅读次数：
327
