感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面，属于判别模型。感知机旨在求出将训练数据进行线性划分的分离超平面。为此，导入基于误分类的损失函数，利用梯度下降法对损失...
分类：
其他好文 时间：
2015-07-22 06:47:05
阅读次数：
178
Martin A. Zinkevich 等人（Yahoo。Lab）合作的论文 Parallelized Stochastic Gradient Descent 中给出了一种适合于 MapReduce 的并行随机梯度下降法，并给出了对应的收敛性分析。这里忽略理论部分。依据自己的理解给...
分类：
其他好文 时间：
2015-07-13 13:35:01
阅读次数：
185
原文：http://zhouyichu.com/machine-learning/Gradient-Descent.html前言最近在看斯坦福的《机器学习》的公开课，这个课程是2009年的，有点老了，不过讲的还是很好的，廓清了一些我以前关于机器学习懵懂的地方。我的一位老师曾经说过:什么叫理解？理解就...
分类：
其他好文 时间：
2015-07-12 18:47:12
阅读次数：
135
原文：http://www.zhihu.com/question/20822481相同1.本质相同：两种方法都是在给定已知数据（independent & dependent variables）的前提下对dependent variables算出出一个一般性的估值函数。然后对给定新数据的depen...
分类：
其他好文 时间：
2015-07-12 01:37:05
阅读次数：
219
高数里面有提到梯度的概念，重温一下。 梯度:设函数z=f(x,y)在平面区域D内有一街连续偏导数，则函数在D内的每一个点P(x,y)处的梯度为 梯度下降：利用负梯度方向决定每次迭代的方向，从而使目标函数逐步减小。梯度下降法又称为最速下降法。 简单形式：x(k+1)=x(k)-a*...
分类：
其他好文 时间：
2015-07-06 19:49:16
阅读次数：
123
前言
从linux camera驱动， 到qcom平台 camera图像效果，再到opencv图像处理，终于进入本篇的机器学习的开始。
前路漫漫，吾只愿风雨兼程。
简介
本篇开始是学习机器学习的第一篇，本章主要是使用opencv，用c语言实现机器学习之一元线性回归、梯度下降法。
关于这部分的原理，可以参考： 1、 http://studentdeng.github.io/blo...
分类：
其他好文 时间：
2015-07-03 15:46:50
阅读次数：
178
从上一篇可知，在监督学习里最重要的就是确定假想函数h(θ),即通过使得代价函数J(θ)最小，从而确定h(θ).
上一篇通过梯度下降法求得J(θ)最小，这篇我们将使用矩阵的方法来解释。
1、普通最小二乘法
利用矩阵的方式，m个训练集（x,y）可以如下表示：
因此,所以
根据 可知，
为使J(θ)最小，通过求导推导可得：
...
分类：
其他好文 时间：
2015-07-02 12:09:01
阅读次数：
207
%% 方法一：梯度下降法x = load('E:\workstation\data\ex3x.dat');y = load('E:\workstation\data\ex3y.dat');x = [ones(size(x,1),1) x];meanx = mean(x);%求均值sigmax = s...
分类：
其他好文 时间：
2015-06-27 19:50:56
阅读次数：
124
这一节课主要讲如何用logistic regression做分类。 在误差衡量问题上，选取了最大似然函数误差函数，这一段推导是难点。 接下来是如何最小化Ein，采用的是梯度下降法，这个比较容易。 参考：http://beader.me/mlnotebook/section3/logistic-re....
分类：
其他好文 时间：
2015-06-25 22:56:17
阅读次数：
226
感知机算法属于比较简单的分类器算法，但是跟逻辑回归和支持向量机一样属于构建分类超平面。
不同的是感知机采用分错的样本与分类超平面的距离作为损失函数，下面的算法基于随机梯度下降法，采用异步方式达到收敛状态
function [w,b]=perceptionLearn(x,y,learningRate,maxEpoch)
% Perception Learn Algorithm
% x...
分类：
编程语言 时间：
2015-06-19 23:06:59
阅读次数：
1995
