根据李航博士总结的统计学习三要素方法=模型+策略+算法，对应于逻辑回归
模型=基于单极型函数(逻辑函数)的条件概率模型
策略=经验损失对应的训练样本先验概率最大化
算法=随机梯度上升法
逻辑回归MATLAB代码比较简单，如下所示，循环对所有的样本，进行梯度上升算法
function [w]=LogisticRegression(x,y,learningRate,m...
分类：
编程语言 时间：
2015-06-21 09:28:53
阅读次数：
624
马尔科夫过程
在概率论及统计学中，马尔可夫过程（英语：Markov process）是一个具备了马尔可夫性质的随机过程，因为俄国数学家安德雷·马尔可夫得名。马尔可夫过程是不具备记忆特质的（memorylessness）。换言之，马尔可夫过程的条件概率仅仅与系统的当前状态相关，而与它的过去历史或未来状态，都是独立、不相关的。
一个马尔科夫过程是状态间的转移仅依赖于前n个状态的过程。这个过程被称之...
分类：
其他好文 时间：
2015-06-21 09:24:20
阅读次数：
612
http://blog.csdn.net/abcjennifer/article/details/8164315本文从统计学角度讲解了CART（Classification And Regression Tree）, Bagging(bootstrap aggregation), Random Fo...
分类：
其他好文 时间：
2015-06-20 17:04:28
阅读次数：
150
降噪自动编码器（Denoising Autoencoder)起源：PCA、特征提取....随着一些奇怪的高维数据出现，比如图像、语音，传统的统计学-机器学习方法遇到了前所未有的挑战。数据维度过高，数据单调,噪声分布广，传统方法的“数值游戏”很难奏效。数据挖掘？已然挖不出有用的东西。为了解决高维度的问...
分类：
Web程序 时间：
2015-06-19 20:08:51
阅读次数：
11767
设学生信息包括学号，姓名和五门功课的成绩，要求编写输入输出
学生信息的函数。在输入一组学生信息后，以学生成绩的总分从高
到低顺序输出学生信息。这个相对来说比较简单，可以创建一个学生的结构体，结构体里面有三个成员：学号，姓名和五门功课的成绩。下面请看一下我的整体代码。这个思路也比较简单，主要是为了练习使用结构体。#include
#include
#i...
分类：
其他好文 时间：
2015-06-19 10:36:44
阅读次数：
111
社会网络分析法
社会网络是社会行动者及他们之间关系的集合，行动者可以是个人、群体、组织乃至国家。关系是多方面的，有多种类型。由来自一个群体内行动者之间的关系构成的网络叫做1-模网络；两个群体的行动者之间的关系网叫做2-模网络；一个群体内的行动者参与多个社会团体构成的网络叫做隶属关系网。
由于关系数据不满足常规统计学意义上的“变量的独立性假设”，因此，通常意义上的各种多元...
分类：
其他好文 时间：
2015-06-16 13:05:02
阅读次数：
214
HMM（hidden markov model）可以用于模式识别，李开复老师就是采用了HMM完成了语音识别。一下的例子来自于《统计学习方法》一个HMM由初始概率分布，状态转移概率分布，观测概率分布确定。并且基于两个假设：1 假设任意时刻t的状态只依赖于前一个时刻的状态，与其他时刻的状态和观测序列无关...
分类：
编程语言 时间：
2015-06-15 22:04:26
阅读次数：
207
决策树（decision tree）是一种基本的分类与回归方法。 决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。 它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其 主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失...
分类：
其他好文 时间：
2015-06-14 18:17:29
阅读次数：
2162
提升树是以分类树或回归树为基本分类器的提升方法 提升树被认为是统计学习中性能最好的方法之一 提升方法实际采用加法模型（基函数的线性组合）与前向分步算法 以决策树为基函数的提升方法称为提升树 对分类问题决策树是二叉分类树 对回归问题决策树是二叉回归树 提升树模型可以表示为决策树的加法模型： T(x;Θ...
分类：
其他好文 时间：
2015-06-13 22:58:53
阅读次数：
159
提升方法的基本思路 在概率近似正确（probably approximately correct，PAC）学习的框架中， 一个概念（一个类），如果存在一个多项式的学习算法能够学习它，并且正确率很高，那么就称这个概念是强可学习的； 一个概念，如果存在一个多项式的学习算法能够学习它，学习的正确率仅比随机...
分类：
其他好文 时间：
2015-06-13 21:35:12
阅读次数：
1475
