在分类问题中我们假设：
他们都是广义线性模型中的一个例子，在理解广义线性模型之前需要先理解指数分布族。
指数分布族（The Exponential Family）
如果一个分布可以用如下公式表达，那么这个分布就属于指数分布族：
公式中y是随机变量；h(x)称为基础度量值（base measure）；
...
分类：
其他好文 时间：
2015-08-17 08:50:25
阅读次数：
158
本文主要讲解局部加权(线性)回归。在讲解局部加权线性回归之前，先讲解两个概念：欠拟合、过拟合，由此引出局部加权线性回归算法。
欠拟合、过拟合
如下图中三个拟合模型。第一个是一个线性模型，对训练数据拟合不够好，损失函数取值较大。如图中第二个模型，如果我们在线性模型上加一个新特征项，拟合结果就会好一些。图中第三个是一个包含5阶多项式的模型，对训练数据几乎完美拟合。
...
分类：
其他好文 时间：
2015-08-17 08:48:14
阅读次数：
183
转载请注明出处：http://www.cnblogs.com/BYRans/ 前面的文章已经介绍了一个回归和一个分类的例子。在逻辑回归模型中我们假设： 在分类问题中我们假设： 他们都是广义线性模型中的一个例子，在理解广义线性模型之前需要先理解指数分布族。指数分布族（The Exponen...
分类：
其他好文 时间：
2015-08-17 06:22:23
阅读次数：
244
1. 监督学习的一种方法学，广义线性模型（GLM）的方法学【转载时请注明来源】：http://www.cnblogs.com/aria313——根据Andrew Ng 2008年课程的第1~4节，以及相关的讲义notes 1，进行总结网易公开课地址：http://study.163.com/plan...
分类：
其他好文 时间：
2015-08-16 22:42:20
阅读次数：
295
相机模型
数码相机图像拍摄的过程实际上是一个光学成像的过程。相机的成像过程涉及到四个坐标系：世界坐标系、相机坐标系、图像坐标系、像素坐标系以及这四个坐标系的转换。
理想透视模型——针孔成像模型
相机模型是光学成像模型的简化，目前有线性模型和非线性模型两种。实际的成像系统是透镜成像的非线性模型。最基本的透镜成像原理如图所示：
其中 u 为物距， f 为焦距，v 为相距。三者满足关系式...
分类：
其他好文 时间：
2015-08-13 18:00:27
阅读次数：
724
很多ML模型用的都是数值特征，那么对于分类特征，该怎么做呢？ 以linear network为例：先对特征进行转换，转换成有意义的特征后，再对其进行线性组合 进一步，模型可表示为：使Ein最小，我们就能知道如何转换特征，如何组合线性模型。 以给电影打分为例，我们实际上要做的，就是...
分类：
其他好文 时间：
2015-08-07 17:57:04
阅读次数：
453
本文主要分两个部分进行讨论，首先介绍最简单的线性回归模型；接着对逻辑回归进行分析1、线性回归-->最小二乘法对于线性回归问题，我们根据自变量的个数将其分为一元线性回归和多元线性回归，本部分先详细介绍一元线性模型，然后将其推广到多元线性模型1）一元线性模型当输入只有一个自变量时，我们称之为一元线性模型...
分类：
其他好文 时间：
2015-08-06 22:10:59
阅读次数：
226
本文主要讲解局部加权(线性)回归。在讲解局部加权线性回归之前，先讲解两个概念：欠拟合、过拟合，由此引出局部加权线性回归算法。欠拟合、过拟合 如下图中三个拟合模型。第一个是一个线性模型，对训练数据拟合不够好，损失函数取值较大。如图中第二个模型，如果我们在线性模型上加一个新特征项，拟合结果就会好一些.....
分类：
其他好文 时间：
2015-08-05 20:20:46
阅读次数：
312
引言在之前的两节博文《混合和装袋》和《自适应提升》中，我们已经有现成的一堆假设g在手中，我们还如何将这些g混合起来，得到更好的分类器。
混合方式可以分为三种情况：
把g看做是同等地位，通过投票或者平均的方式将它们合起来，称为Bagging
g是不平等的，有好有坏，一个可行的做法是把g当成是特征的转换，然后丢进线性模型训练就可以了，这称为AdaBoost
如果是不同的条件下，使用不...
分类：
编程语言 时间：
2015-07-26 12:40:57
阅读次数：
172
总结：由于逻辑回归假定y的条件分布(y|x)是伯努利分布，所以根据广义线性模型和指数分布簇的定义可以得到逻辑回归的假设函数是sigmoid函数。广义线性模型的三个假设——逻辑回归1、 假定服从指数分布簇的某个分布 逻辑回归中，，所以假定【即已知参数θ的情况下，给定x，y的条件概率服从参数的伯努利分....
分类：
其他好文 时间：
2015-07-22 20:17:40
阅读次数：
199
