梯度下降法（gradient descent）：是求解无约束最优化问题的一种常用的方法。是一种迭代算法。 输入： 目标函数f(x)， 梯度函数g(x) = ▽f(x) , 计算精度 ε； 输出： f(x) 的极小点x*。 （1） 取初始值x(k) 属于Rn，置k= 0 （2） 计算f(x(k) ) ...
分类：
其他好文 时间：
2016-04-23 11:50:52
阅读次数：
206
形式 h(x)=∑i=0nθixi=θTxh(x)=\sum_{i=0}^n\theta_ix_i=\theta^Tx代价函数:J(θ)=12∑i=1m(h(x(i)θ)?y(i))2J(\theta)=\frac{1}{2}\sum_{i=1}^m(h(x_\theta^{(i)})-y^{(i)})^2
LMS(Least Mean Squares)算法参数更新原则
梯度下降法，参数沿着使代价...
分类：
编程语言 时间：
2016-04-22 19:27:11
阅读次数：
143
（一）牛顿法解最大似然估计 牛顿方法（Newton's Method）与梯度下降（Gradient Descent）方法的功能一样，都是对解空间进行搜索的方法。其基本思想如下： 对于一个函数f(x)，如果我们要求函数值为0时的x，如图所示： 我们先随机选一个点，然后求出该点的切线，即导数，延长它使之 ...
分类：
其他好文 时间：
2016-04-21 01:17:59
阅读次数：
442
本课内容： 1、线性回归 2、梯度下降 3、正规方程组 监督学习：告诉算法每个样本的正确答案，学习后的算法对新的输入也能输入正确的答案 1、线性回归 问题引入：假设有一房屋销售的数据如下： 引入通用符号： m =训练样本数 x =输入变量（特征） y =输出变量（目标变量） (x,y)—一个样本 i ...
分类：
其他好文 时间：
2016-04-21 01:16:14
阅读次数：
454
逻辑回归(logistic-regression)之梯度下降法详解
逻辑回归常用于预测疾病发生的概率，例如因变量是是否恶性肿瘤，自变量是肿瘤的大小、位置、硬度、患者性别、年龄、职业等等（很多文章里举了这个例子，但现代医学发达，可以通过病理检查，即获取标本放到显微镜下观察是否恶变来判断）；广告界中也常用于预测点击率或者转化率(cvr/ctr)，例如因变量是是否点击，自变量是物料的长、宽、广告的位置...
分类：
其他好文 时间：
2016-04-19 19:58:03
阅读次数：
1139
参考了Udacity的一个梯度下降pdf
理解梯度下降可以，先联想一下自己下山的过程。
我们下山的过程是怎样的？
想象一下下图红点下山的目标是什么，就是下到哪里？
为了让函数来理解如何下山，我们来回忆一下导数。
一个自变量的导数：
两个自变量的导数，这里求的是偏导数，即对某一变量求导：
...
分类：
其他好文 时间：
2016-04-17 22:58:46
阅读次数：
311
在《机器学习笔记01》中已经讲了关于单变量的线性回归以及梯度下降法。今天这篇文章作为之前的扩展，讨论多变量（特征）的线性回归问题、多变量梯度下降、Normal equation（矩阵方程法），以及其中需要注意的问题。单元线性回归首先来回顾一下单变量线性回归的假设函数:
Size(feet2feet^2)
Price($\$1000) 2104
460
1416
232
15...
分类：
其他好文 时间：
2016-04-17 06:55:22
阅读次数：
724
最近在Coursera上看吴大神的Machine Learning，感觉讲的真的很棒。所以觉得应该要好好做做笔记，一方面是加强自己对ML中一些方法的掌握程度和理解，另一方面也能方便自己或者同样爱好ML的同学。线性回归(Linear Regression) 线性回归（Linear Regression）应该是机器学习中最基本的东西了。所谓回归，想必大家在高中时期的课程里面就接触过，给定一系列离散的点...
分类：
其他好文 时间：
2016-04-10 14:50:43
阅读次数：
301
