梯度下降法解逻辑斯蒂回归 本文是Andrew Ng在Coursera的机器学习课程的笔记。 Logistic回归属于分类模型。回顾线性回归，输出的是连续的实数，而Logistic回归输出的是[0,1]区间的概率值，通过概率值来判断因变量应该是1还是0。因此，虽然名字中带着“回归”（输出范围常为连续实 ...
分类：
其他好文 时间：
2017-07-07 17:28:17
阅读次数：
190
感知机 （一）概念 1，定义： （二），学习策略 1，线性可分 ：存在一个超平面将正实例和负实例划分开来，反之不可分 2，学习策略：寻找极小损失函数，通过计算误分点到超平面的距离 3，学习算法 即求解损失函数最优化的算法，借用随机梯度下降法 3.1 原始形式 学习率也叫步长（0,1] 例题： 特点： ...
分类：
其他好文 时间：
2017-07-01 01:10:54
阅读次数：
277
# 概念 LMS(least mean square)：（最小均方法）通过最小化均方误差来求最佳参数的方法。 GD(gradient descent) : （梯度下降法）一种参数更新法则。可以作为LMS的参数更新方法之一。 The normal equations : （正则方程式，将在下一篇随笔中 ...
分类：
其他好文 时间：
2017-06-18 15:51:21
阅读次数：
268
“牛顿下降法和梯度下降法在机器学习和自适应滤波中都很重要，本质上是为了寻找极值点的位置。但是收敛的速度不同。 本文中就两种方法来探究一下，哪种收敛方法速度快“ 牛顿下降法的递推公式： xn+1=xn?f′(xn)/f′′(xn) 梯度下降算法的递推公式： xn+1=xn?μ?f′(xn) 解释一 下 ...
分类：
其他好文 时间：
2017-06-04 09:49:44
阅读次数：
183
在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（GradientDescent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1.梯度在微积分里面，对多元函数的参数求偏导数，把求得的各个参数的偏导数以向量的形式写出来，就..
分类：
其他好文 时间：
2017-05-14 10:55:32
阅读次数：
139
17.1 大型数据集的学习 17.2 随机梯度下降法 17.3 微型批量梯度下降 17.4 随机梯度下降收敛 17.5 在线学习 17.6 映射化简和数据并行 17.1 大型数据集的学习 17.2 随机梯度下降法 17.3 微型批量梯度下降 17.4 随机梯度下降收敛 17.5 在线学习 17.6 ...
分类：
系统相关 时间：
2017-05-14 10:37:02
阅读次数：
363
本文主要使用了对数几率回归法与线性判别法（ＬＤＡ）对数据集（西瓜３.０）进行分类。其中在对数几率回归法中，求解最优权重Ｗ时，分别使用梯度下降法，随机梯度下降与牛顿法。 代码如下： 1 #!/usr/bin/env python 2 # -*- coding: utf-8 -*- 3 # @Date ...
分类：
其他好文 时间：
2017-05-12 19:08:30
阅读次数：
277
回归与梯度下降： 回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等，这个将在后面去讲。 用一个很简单的例子来说明回归，这 ...
分类：
其他好文 时间：
2017-05-08 22:03:08
阅读次数：
204
一，随机梯度下降法(Stochastic Gradient Descent) 当训练集很大且使用普通梯度下降法(Batch Gradient Descent)时，因为每一次\(\theta\)的更新，计算微分项时把训练集的所有数据都迭代一遍，所以速度会很慢 批量梯度下降法是一次性向计算m组数据的微分 ...
分类：
编程语言 时间：
2017-05-08 21:56:23
阅读次数：
218
4.1 多维特征 4.2 多变量梯度下降 4.3 梯度下降法实践 1-特征缩放 4.4 梯度下降法实践 2-学习率 4.5 特征和多项式回归 4.6 正规方程 4.7 正规方程及不可逆性（可选） 4.1 多维特征 目前为止，探讨了单变量/特征的回归模型，现在对房价模型增加更多的特征 增添更多特征后， ...
分类：
其他好文 时间：
2017-05-04 20:17:03
阅读次数：
244
