线性回归即线性拟合，给定N个样本数据（x1,y1）,(x2,y2)....(xN,yN)（x_1,y_1）,(x_2,y_2)....(x_N,y_N)其中xix_i为输入向量，yiy_i表示目标值，即想要预测的值。采用曲线拟合方式，找到最佳的函数曲线来逼近原始数据。通过使得代价函数最小来决定函数参数值。
采用斯坦福大学公开课的例子：假如一套房子的价格只考虑由房屋面积(Living area)与...
分类：
其他好文 时间：
2016-03-14 00:20:17
阅读次数：
651
批量梯度下降的逻辑回归可以参考这篇文章：http://blog.csdn.net/pakko/article/details/37878837 看了一些Scala语法后，打算看看MlLib的机器学习算法的并行化，那就是逻辑回归，找到package org.apache.spark.mllib.cla
分类：
其他好文 时间：
2016-03-05 23:33:26
阅读次数：
321
1 # -*- coding: cp936 -*- 2 import numpy as np 3 import matplotlib.pyplot as plt 4 5 6 # 构造训练数据 7 x = np.arange(0., 10., 0.2) 8 m = len(x) # 训练数据点数目 9
分类：
编程语言 时间：
2016-02-27 16:29:00
阅读次数：
323
批梯度下降 (Batch Gradient Descent)以线性回归为例，用梯度下降算法进行参数更新的公式为$$\theta_j=\theta_j-\alpha\frac{1}{m}\sum\limits_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$...
分类：
其他好文 时间：
2016-01-26 16:38:58
阅读次数：
201
一、特点：0.无监督的神经网络1.基于梯度下降2.固定学习速率3.离线学习（批量学习）4.隐藏层数目范围：[1, +∞)4.可以选择激活函数类型5.numpy强大的矩阵运算能力二、效果：未分类：隐藏层：[6,4]效果：隐藏层：[6,5,3]效果：三、代码：import numpy as np'''无...
分类：
其他好文 时间：
2016-01-13 10:27:48
阅读次数：
289
曾经学习machine learning,在regression这一节,对求解最优化问题的梯度下降方法，理解总是处于字面意义上的生吞活剥。对梯度的概念感觉费解?到底是标量还是矢量?为什么沿着负梯度方向函数下降最快?想清楚的回答这些问题。还真须要点探究精神。我查阅了一些经典的资料(包含wiki百科),...
分类：
系统相关 时间：
2016-01-05 18:53:44
阅读次数：
226
版权声明： 本文由LeftNotEasy所有，发布于http://leftnoteasy.cnblogs.com。如果转载，请注明出处，在未经作者同意下将本文用于商业用途，将追究其法律责任。前言: 上次写过一篇关于贝叶斯概率论的数学，最近时间比较紧，coding的任务比较重，不过还是抽空看了一些机器...
分类：
其他好文 时间：
2016-01-03 19:37:27
阅读次数：
175
在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。 下面我们以线性回归算法来对三种梯度下降法进行比较。 一般线性回归函数的假设函数为：$h_{\theta}=\sum_{j=0}^{n}\thet...
分类：
系统相关 时间：
2015-12-30 21:39:13
阅读次数：
368
在上一篇中，我们看到了神经网络是怎样使用梯度下降算法来学习它们的权值和偏置。然而，我们还有一些没有解释：我们没有讨论怎样计算损失函数的梯度。本篇中将解释著名的BP算法，它是一个快速计算梯度的算法。反向传播算法（Backpropagation algorithm,BP）是在1970s提出的，但是它的重...
分类：
其他好文 时间：
2015-12-06 17:44:00
阅读次数：
707
主要为第十周内容：大规模机器学习、案例、总结 （一）随机梯度下降法 如果有一个大规模的训练集，普通的批量梯度下降法需要计算整个训练集的误差的平方和，如果学习方法需要迭代20次，这已经是非常大的计算代价。 首先，需要确定大规模的训练集是否有必要。当我们确实需要一个大规模的训练集，可以尝试用随机梯度下降...
分类：
其他好文 时间：
2015-11-30 22:05:34
阅读次数：
153
