本篇讲述以下内容:单变量线性回归代价函数梯度下降单变量线性回归回顾下上节,在回归问题中,我们给定输入变量,试图映射到连续预期结果函数上从而得到输出。单变量线性回归就是从一个输入值预测一个输出值。输入/输出的对应关系就是一个线性函数。下面是一个根据房屋面积预测房屋价格的例子。假设有一个数据集,我们称作...
分类:
其他好文 时间:
2015-11-20 17:02:06
阅读次数:
212
对于BP神经网络算法,由于之前一直没有应用到项目中,今日偶然之时 进行了学习, 这个算法的基本思路是这样的:不断地迭代优化网络权值,使得输入与输出之间的映射关系与所期望的映射关系一致,利用梯度下降的方法更新调整各层的权值,求目标函数的最小化。1:初始化网络权值和神经元阈值(最简单的方法是随机初始化....
分类:
编程语言 时间:
2015-11-13 20:35:33
阅读次数:
316
一、相关概念 1.梯度下降 由于Z= X*theta - y是列向量,所以Z'*Z就是平方和连加,就是2范数;如果Z是矩阵呢,那么Z'*Z的对角线就是Z矩阵每列的2范数。 2.正规方程(Normal Equation) θ = (XTX)-1XTY。二、代码实现2104,3,39990016...
分类:
其他好文 时间:
2015-10-27 21:49:29
阅读次数:
401
一、引言 本材料参考Andrew Ng大神的机器学习课程http://cs229.stanford.edu,以及斯坦福无监督学习UFLDL tutorialhttp://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial 机器学习中的回归问题属于有监督学...
分类:
其他好文 时间:
2015-10-26 13:41:04
阅读次数:
233
在机器学习的优化问题中,梯度下降法和牛顿法是常用的两种凸函数求极值的方法,他们都是为了求得目标函数的近似解。在逻辑斯蒂回归模型的参数求解中,一般用改良的梯度下降法,也可以用牛顿法。由于两种方法有些相似,我特地拿来简单地对比一下。下面的内容需要读者之前熟悉两种算法。 梯度下降法 梯度下降法用来求解目标...
分类:
其他好文 时间:
2015-10-26 13:35:30
阅读次数:
309
在机器学习的优化问题中,梯度下降法和牛顿法是常用的两种凸函数求极值的方法,他们都是为了求得目标函数的近似解。在逻辑斯蒂回归模型的参数求解中,一般用改良的梯度下降法,也可以用牛顿法。由于两种方法有些相似,我特地拿来简单地对比一下。下面的内容需要读者之前熟悉两种算法。 梯度下降法 梯度下降法用来求解目标...
分类:
其他好文 时间:
2015-10-26 12:01:08
阅读次数:
232
for iter = 1:num_iters %梯度下降 用户向量 for i = 1:m %返回有0有1 是逻辑值 ratedIndex1 = R_training(i,:)~=0 ; %U(i,:) * V' 第i个用户分别对每个电影的评...
分类:
其他好文 时间:
2015-10-21 22:43:36
阅读次数:
235
http://www.codelast.com/?p=8006http://www.codelast.com/?p=2573http://blog.csdn.net/xmu_jupiter/article/details/22220987http://www.cnblogs.com/jerrylea...
分类:
其他好文 时间:
2015-10-20 21:03:57
阅读次数:
131
一、理论二、数据集6.1101,17.5925.5277,9.13028.5186,13.6627.0032,11.8545.8598,6.82338.3829,11.8867.4764,4.34838.5781,126.4862,6.59875.0546,3.81665.7107,3.252214...
分类:
其他好文 时间:
2015-10-16 11:23:03
阅读次数:
294
几个常见问题: 1、为什么损失函数采用最小二乘法,而不是绝对值形式,也不采用最小三乘法?关于这个问题的答案,后面的课程会给出,主要是从最大似然函数角度给出的合理化解释,如果你追问,最大似然函数就代表科...
分类:
其他好文 时间:
2015-10-09 20:05:28
阅读次数:
526