六 逻辑回归(Logistic Regression：LR)
逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上，套用了一个逻辑函数，但也就是由于这个逻辑函数，使得逻辑回归模型成为了机器学习领域一颗耀眼的明星，更是计算广告学的核心。
6.1 分类问题（Classification）
本小节开始介绍分类问题（该问题中要预测的变量y是离散值），同时，还要学习...
分类：
系统相关 时间：
2016-04-01 18:17:07
阅读次数：
374
第8章提升方法
提升(boosting)方法是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。
基本思想：对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则(弱分类器)要比求精确的分类规则(强分类器)容易得多。提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器(又称为基本分类器)...
分类：
其他好文 时间：
2016-03-30 13:17:45
阅读次数：
291
第12章 统计学习方法总结
1 适用问题
分类问题是从实例的特征向量到类标记的预测问题；标注问题是从观测序列到标记序列(或状态序列)的预测问题。可以认为分类问题是标注问题的特殊情况。
分类问题中可能的预测结果是二类或多类；而标注问题中可能的预测结果是所有的标记序列，其数目是指数级的。
感知机、k近邻法、朴素贝叶斯法、决策树是简单的分类方法，具有模型直观、方法简单、实现容易等特...
分类：
其他好文 时间：
2016-03-30 13:14:29
阅读次数：
232
第6章 逻辑回归与最大熵模型
逻辑回归(logistic regression)是统计学习中的经典分类方法。最大嫡是概率模型学习的一个准则将其推广到分类问题得到最大熵模型(maximum entropy model)。逻辑回归模型与最大熵模型都属于对数线性模型。
6.1 逻辑回归模型
定义6.1(逻辑分布)：设X是连续随机变量，X服从逻辑斯谛分布是指
X具有下列分布函数和密度函...
分类：
其他好文 时间：
2016-03-30 13:13:41
阅读次数：
225
第5章 决策树
决策树(decision tree)是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决...
分类：
其他好文 时间：
2016-03-30 13:13:19
阅读次数：
248
逻辑回归 1、 总述 逻辑回归来源于回归分析，用来解决分类问题，即预测值变为较少数量的离散值。 2、 基本概念 回归分析(Regression Analysis)：存在一堆观测资料，希望获得数据内在分布规律。单个样本表示成二维或多维向量，包含一个因变量Y和一个或多个自变量X。回归分析主要研究当自变量 ...
分类：
其他好文 时间：
2016-03-26 17:21:58
阅读次数：
158
支持向量机是一个二类分类模型，但也可以扩展为多类分类。其基于间隔最大化和核技巧的特点可以使它可以灵活处理线性或非线性分类问题。
支持向量机可是形式化为一个凸二次规划问题，学习算法是求解基于凸二次规划的最优化算法。
按照训练数据是否线性可分，支持向量机可以分为基于硬间隔的线性可分支持向量机、基于软间隔的线性支持向量机、基于核技巧和软间隔最大化的非线性支持向量机。三者复杂性是依次增加的。
1、基于...
分类：
其他好文 时间：
2016-03-26 07:16:56
阅读次数：
477
支持向量机是建立在统计学习理论基础之上的新一代机器学习算法，支持向量机的优势主要体现在解决线性不可分问题，它通过引入核函数，巧妙地解决了在高维空间中的内积运算，从而很好地解决了非线性分类问题。 构造出一个具有良好性能的SVM，核函数的选择是关键．核函数的选择包括两部分工作：一是核函数类型的选择，二是
分类：
其他好文 时间：
2016-03-19 11:11:33
阅读次数：
153
之前建立了一个SVM-based Ordinal regression模型，一种特殊的多分类模型，就想通过可视化的方式展示模型分类的效果，对各个分类区域用不同颜色表示。可是，也看了很多代码，但基本都是展示二分类，当扩展成多分类时就会出现问题，所以我的论文最后就只好画了boundary的图了。今天在研
分类：
其他好文 时间：
2016-03-06 20:52:45
阅读次数：
322
逻辑回归模型（Logistic Regression）及Python实现 http://www.cnblogs.com/sumai 1.模型 在分类问题中，比如判断邮件是否为垃圾邮件，判断肿瘤是否为阳性，目标变量是离散的，只有两种取值，通常会编码为0和1。假设我们有一个特征X，画出散点图，结果如下所
分类：
编程语言 时间：
2016-02-28 18:26:09
阅读次数：
667
