逻辑回归算法(MATLAB)

标签：算法   感知机   机器学习   逻辑回归   

根据李航博士总结的统计学习三要素方法=模型+策略+算法，对应于逻辑回归

模型=基于单极型函数(逻辑函数)的条件概率模型

策略=经验损失对应的训练样本先验概率最大化

算法=随机梯度上升法

      逻辑回归MATLAB代码比较简单，如下所示，循环对所有的样本，进行梯度上升算法

<span style="font-size:18px;">function [w]=LogisticRegression(x,y,learningRate,maxEpoch)
% Logistic Regression
% x,y 一行为一个样本，y取值{0,1}
% 随机梯度法
[m,n]=size(x);
x=[ones(m,1) x];
w=zeros(1,n+1);
for epoch=1:maxEpoch
    for samlendex=1:m
        w=w+learningRate*(y(samlendex)-1/(1+exp(-x(samlendex,:)*w')))*x(samlendex,:);
    end
end</span>

      为了与先前的感知机比较，感知机代码http://blog.csdn.net/zhangzhengyi03539/article/details/46565739

把两个函数放在一个文件夹下使用下面的测试代码

clear;clc;
x=[3,3;4,3;1,1;];
y=[1,1,-1];
Pindex=find(y>0);
tIndex=1:length(y);
Nindex=setdiff(tIndex,Pindex);
plot(x(Pindex,1),x(Pindex,2),'*');
hold on;
plot(x(Nindex,1),x(Nindex,2),'p');

[w]=perceptionLearn(x,y,1,20);
xline=linspace(-2,5,20);
yline=-w(2)/w(3).*xline-w(1)/w(3);
plot(xline,yline,'r');

y=[1,1,0];
[w]=LogisticRegression(x,y,0.1,2000);
xline=linspace(-2,5,20);
yline=-w(2)/w(3).*xline-w(1)/w(3);
plot(xline,yline,'g');

legend('正样本','负样本','感知机','逻辑回归')

      一般情况下，逻辑回归结果要比感知机结果好，因为这个在策略比较中就可以看出来。感知机是策略是让分错的样本与分类超平面距离越来越近，如果全部分类正确即停止。而逻辑回归策略是对于训练样本在假设的基于单极型函数的取样概率模型中，先验概率最大。

     至于为什么采用单极型函数，将会在后续的一篇关于广义线性模型的博文推导。这个函数是推导出来的，而不是函数形状符合要求就采用的<^_^>

     欢迎继续关注。

逻辑回归算法(MATLAB)

标签：算法   感知机   机器学习   逻辑回归   

原文地址：http://blog.csdn.net/zhangzhengyi03539/article/details/46574803