一、梯度下降、随机梯度下降、批量梯度下降 梯度下降：梯度下降中，对于θ 的更新，所有的样本都有贡献，也就是参与调整θ 。其计算得到的是一个标准梯度。因而理论上来说一次更新的幅度是比较大的。如果样本不多的情况下，当然是这样收敛的速度会更快。 随机梯度下降：随机梯度下降法，随机用样本中的一个例子来近似总 ...
分类：
其他好文 时间：
2017-09-10 21:48:23
阅读次数：
162
逻辑回归，简单的说，就是用sigmoid函数把连续函数归一化转化成离散的几个可能的结果。 逻辑回归的算法 最大似然法： 我自己的理解，最大似然法就是在你观测到某一系列事件出现的可能性之后，倒推该事件最可能的概率，这个最可能的概率会使这一系列事件发生的可能性无限接近我们观测到的可能性。 梯度下降法/随 ...
分类：
其他好文 时间：
2017-09-10 01:15:38
阅读次数：
189
在吴恩达的机器学习课程中，讲了一个模型，如何求得一个参数令错误函数值的最小，这里运用梯度下降法来求得参数。 首先任意选取一个θ 令这个θ变化，怎么变化呢，怎么让函数值变化的快，变化的小怎么变化，那么函数值怎么才能变小变得快呢，求偏导，刚开始不太清楚，就是要求每一个θ，看看错误函数在哪一个方向上变化得 ...
分类：
其他好文 时间：
2017-09-09 20:14:47
阅读次数：
122
已经知道了logistic回归模型，也知道了损失函数 损失函数是衡量单一训练样例的效果，还知道了成本函数 成本函数用于衡量参数w和b的效果在全部训练集上面的衡量下面开始讨论如何使用梯度下降法来训练或学习训练集上的参数w和b回顾一下： 这里是最熟悉的logistic回归算法第二行是成本函数J，成本函数... ...
分类：
编程语言 时间：
2017-09-09 00:06:05
阅读次数：
212
怎么样计算偏导数来实现logistic回归的梯度下降法它的核心关键点是其中的几个重要公式用来实现logistic回归的梯度下降法接下来开始学习logistic回归的梯度下降法logistic回归的公式 现在只考虑单个样本的情况，关于该样本的损失函数定义如上面第三个公式，其中a是logistic回归的... ...
分类：
其他好文 时间：
2017-09-08 23:54:36
阅读次数：
300
一.感知机概述 感知机适用于：线性可分的数据，用于二分类 目的：找到分离超平面，完全分离不同的类 感知机公式：，一元多维的函数 感知机学习策略：通过求min(所有误分类点到超平面距离)，即损失函数，来确定权重和偏置 求解方法：梯度下降法 求解步骤：1.初始化权重和偏置 2.任选点（x,y） 3.若y ...
分类：
其他好文 时间：
2017-09-05 10:04:50
阅读次数：
153
生活中往往有两种人：一种喜欢谋定而后动，比较有全局观；另一种见机行事，根据外界环境不断调整自己的行为。命运给他们的馈赠也是不同的，前者可能大器晚成，后者容易惊喜不断，然而可能左右摇摆。不能说两种处事态度有什么优劣：思虑过多可能错失良机，贸然行动也可能事倍功半，总之“成功”这件事一半靠命运。顾城的诗中 ...
分类：
其他好文 时间：
2017-09-04 09:57:59
阅读次数：
163
机器学习，分为监督学习和无监督学习，监督学习里有回归和分类，分类有线性回归和逻辑回归。 从最简单的线性回归开始： 通过已有数据需要预测的线性方程： 实际值和预测值的误差，求最小误差函数（最小二乘法）： 1.梯度下降法： 其中ε是步长，步长越大，下降越快，但是可能到不了局部最小值，步长越小，下降越慢， ...
分类：
其他好文 时间：
2017-09-01 00:59:55
阅读次数：
592
前言 以下内容是个人学习之后的感悟，如果有错误之处，还请多多包涵~ 梯度下降法 一、简介 梯度下降法(gradient decent)是一个最优化算法，通常也称为最速下降法。常用于机器学习和人工智能当中用来递归性地 逼近最小偏差模型。 二、原理 梯度下降法，顾名思义，从高处寻找最佳通往低处的方向，然 ...
分类：
其他好文 时间：
2017-08-26 04:49:28
阅读次数：
403
详解多元线性回归，并分别用标准方程法以及梯度下降法，通过Python编程求解 ...
分类：
其他好文 时间：
2017-08-24 19:41:03
阅读次数：
241
