本文介绍了机器学习中基本的优化算法—梯度下降算法和随机梯度下降算法，以及实际应用到线性回归、Logistic回归、矩阵分解推荐算法等ML中。 梯度下降算法基本公式 常见的符号说明和损失函数 X :所有样本的特征向量组成的矩阵 x(i) 是第i个样本包含的所有特征组成的向量x(i)=（x(i)1,x( ...
分类：
编程语言 时间：
2018-01-31 14:39:56
阅读次数：
221
一、介绍 Logistic回归是广泛应用的机器学习算法，虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别）。 面对一个回归或者分类问题，建立代价函数(损失函数)，使用最优化算法（梯度上升法、改进的随机梯度上升法），找到最佳拟合参数，将数据拟合到一 ...
分类：
其他好文 时间：
2018-01-27 11:25:47
阅读次数：
209
十七、大规模机器学习(Large Scale Machine Learning) 17.1 大型数据集的学习 17.2 随机梯度下降法 17.3 小批量梯度下降 17.4 随机梯度下降收敛 17.5 在线学习 17.6 映射化简和数据并行 十八、应用实例：图片文字识别(Application Exa ...
分类：
其他好文 时间：
2018-01-17 00:54:52
阅读次数：
309
机器学习实战四（Logistic Regression） 这一章会初次接触 ，在日常生活中应用很广泛。这里我们会用到基本的梯度上升法，以及改进的随机梯度上升法。 Logistic回归 优点：计算代价不高，易于理解和实现 缺点：容易欠拟合，分裂精度可能不高 原理：根据现有数据堆分类边界线建立回归公式， ...
分类：
其他好文 时间：
2018-01-10 16:54:25
阅读次数：
178
简介Adam 是一种可以替代传统随机梯度下降（SGD）过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam 最开始是由 OpenAI 的 Diederik Kingma 和多伦多大学的 Jimmy Ba 在提交到 2015 年 ICLR 论文（Adam: A Method for S... ...
分类：
编程语言 时间：
2018-01-03 15:50:56
阅读次数：
313
麦子深度学习之-机器学习算法高级进阶 随笔背景：在很多时候，很多入门不久的朋友都会问我：我是从其他语言转到程序开发的，有没有一些基础性的资料给我们学习学习呢，你的框架感觉一下太大了，希望有个循序渐进的教程或者视频来学习就好了。对于学习有困难不知道如何提升自己可以加扣：1225462853进行交流得到 ...
分类：
编程语言 时间：
2017-11-20 21:45:09
阅读次数：
110
摘要： 1.最小二乘法 2.梯度下降法 3.最大（对数）似然估计（MLE） 4.最大后验估计（MAP） 5.期望最大化算法（EM） 6.牛顿法 7.拟牛顿迭代（BFGS） 8.限制内存-拟牛顿迭代（L-BFGS） 9.深度学习中的梯度优化算法 ... ...
分类：
其他好文 时间：
2017-11-12 18:43:11
阅读次数：
324
转刘建平Pinard 在集成学习之Adaboost算法原理小结中，我们对Boosting家族的Adaboost算法做了总结，本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT)做一个总结。GBDT有很多简称，有G ...
分类：
其他好文 时间：
2017-11-11 13:05:48
阅读次数：
217
吴恩达老师的机器学习公开课的第二课主要讲了随机梯度下降算法，我记录了一些要点并写了一点自己的想法于此。 以上便是第二节课的核心内容。 另外的内容还有随机梯度下降法。思想是很平凡的，当数据较多的时候随机选择数据进行梯度下降，以精度换速度。 梯度下降法似乎并不能处理局部最优的问题。吴恩达老师在课上给的解 ...
分类：
其他好文 时间：
2017-11-10 21:44:20
阅读次数：
1782
1. 优化： 1.1 随机梯度下降法(Stochasitc Gradient Decent, SGD)的问题： 1）对于condition number(Hessian矩阵最大和最小的奇异值的比值)很大的loss function，一个方向梯度变化明显，另一个方向梯度变化很缓慢，SGD在优化过程中会 ...
分类：
编程语言 时间：
2017-11-04 23:29:19
阅读次数：
314
