这几天完成了树回归的相关学习，这一部分内容挺多，收获也挺多，刚刚终于完成了全部内容，非常开心。
树回归这一章涉及了CART，CART树称作(classify and regression tree) 分类与回归树，既可以用于分类，也可以用于回归。这正是前面决策树没有说到的内容，在这里补充一下。正好也总结一下我们学的3种决策树。
ID3：用信息增益来选择特性进行分类，只能处理分类问题。缺点是往往...
分类：
其他好文 时间：
2016-04-09 00:23:43
阅读次数：
323
theano logistic regression讲解逻辑模型是一个基于概率的线性分类器。它的参数是w和b。 通过把输入向量映射到一个超平面集合上来实现分类，每个超平面对应一个分类。从超平面到输入向量的距离反应了这个概率，就是说输入属于这个分类的概率。数学上，一个输入属于某个分类的公式可以表达为下面的公式：
这个公式的意思是，当已知一个输入x,根据猜想的参数(w,b)得到的softmax就是...
分类：
其他好文 时间：
2016-04-07 09:41:29
阅读次数：
274
从统计学的角度来看，机器学习大多的方法是统计学中分类与回归的方法向工程领域的推广。 “回归”(Regression)一词的滥觞是英国科学家Francis Galton(1822-1911)在1886年的论文[1]研究孩子身高与父母身高之间的关系。观察1087对夫妇后，得出成年儿子身高=33.73+0 ...
分类：
其他好文 时间：
2016-04-07 06:56:24
阅读次数：
199
Quantitative algorithm
Error evaluation
In this chapter, we review some of the key ideas underlying the linear regression model, as well as the least squares approach that is most commonly used to...
分类：
其他好文 时间：
2016-04-05 10:54:55
阅读次数：
342
逻辑回归、决策树和支持向量机 2015-12-03 CSDN大数据 CSDN大数据 分类问题是我们在各个行业的商业业务中遇到的主要问题之一。在本文中，我们将从众多技术中挑选出三种主要技术展开讨论，逻辑回归（Logistic Regression）、决策树（Decision Trees）和支持向量机（ ...
分类：
其他好文 时间：
2016-04-04 16:34:46
阅读次数：
342
Logistic Regression 笔记与理解Logistic Regression Hypothesis 记为 H(theta)H(theta)=g(z)
其中g(z),是一个叫做Logistic Function的函数，g(z)函数定义如下：
对应图像如下：
这是一个值域为0～1的s型函数，在理...
分类：
其他好文 时间：
2016-04-04 14:59:20
阅读次数：
147
本笔记为Coursera在线课程《Machine Learning》中的单变量线性回归章节的笔记。
2.1 模型表示
参考视频: 2 - 1 - Model Representation (8 min).mkv
本课程讲解的第一个算法为"回归算法"，本节将要讲解到底什么是Model。下面，以一个房屋交易问题为例开始讲解，如下图所示（从中可以看到监督学习的基本流程）。
所使用的数据集为...
分类：
系统相关 时间：
2016-04-01 18:22:42
阅读次数：
210
六 逻辑回归(Logistic Regression：LR)
逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上，套用了一个逻辑函数，但也就是由于这个逻辑函数，使得逻辑回归模型成为了机器学习领域一颗耀眼的明星，更是计算广告学的核心。
6.1 分类问题（Classification）
本小节开始介绍分类问题（该问题中要预测的变量y是离散值），同时，还要学习...
分类：
系统相关 时间：
2016-04-01 18:17:07
阅读次数：
374
第6章 逻辑回归与最大熵模型
逻辑回归(logistic regression)是统计学习中的经典分类方法。最大嫡是概率模型学习的一个准则将其推广到分类问题得到最大熵模型(maximum entropy model)。逻辑回归模型与最大熵模型都属于对数线性模型。
6.1 逻辑回归模型
定义6.1(逻辑分布)：设X是连续随机变量，X服从逻辑斯谛分布是指
X具有下列分布函数和密度函...
分类：
其他好文 时间：
2016-03-30 13:13:41
阅读次数：
225
1.线性回归模型
"回归"的由来
Francis Galton,英国生物学家，他研究了父母身高与子女身高之间关系后得出，若父母身高高于平均大众身高，则其子女身高倾向于倒退生长，即会比其父母身高矮一些而更接近于大众平均身高。若父母身高小于平均身高，则其子女身高倾向于向上生长，以更接近于大众平均身高。此现象，被Galton称之为回归现象，即regression.
什么是线性回归？
这里...
分类：
其他好文 时间：
2016-03-29 10:50:47
阅读次数：
198
