LinearRegressionfits a linear model with coefficientsto minimize the residual sum of squares between the observed responses in the dataset, and the re...
分类：
其他好文 时间：
2015-04-25 10:40:58
阅读次数：
212
指数分布族 首先需要提及下指数分布族，它是指一系列的分布，只要其概率密度函数可以写成下面这样的形式：\(\begin{aligned} p(y;\eta)=b(y)exp(\eta^TT(y)-a(\eta))\end{aligned}\) 一般的很多分布（如高斯分布，泊松分布，二项式分布，伽马.....
分类：
其他好文 时间：
2015-04-13 18:40:56
阅读次数：
152
牛顿方法本次课程大纲：1、牛顿方法：对Logistic模型进行拟合2、指数分布族3、广义线性模型（GLM）：联系Logistic回归和最小二乘模型复习：Logistic回归：分类算法假设给定x以为参数的y=1和y=0的概率：求对数似然性：对其求偏导数，应用梯度上升方法，求得：本次课程介绍的牛顿方法是...
分类：
其他好文 时间：
2015-04-11 14:49:46
阅读次数：
166
1、logistic回归是统计学习中的经典分类方法。
最大熵模型：最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。
两者都是对数线性模型。
2、二项logstic分类模型：用于二类分布。
多项logstic分类模型：用于多类分布。
3、最大熵模型（maximum entropy model）:是由最大熵原理推导实现。
...
分类：
其他好文 时间：
2015-04-05 09:14:27
阅读次数：
346
2.3两种简单的预测方法：最小二乘和最近邻
在本节中我们详细讨论两种简单但有效的预测方法，使用最小二乘线性模型拟合和k最近邻预测。线性模型对结构做了大量的假设，但是可能会产生不准确的预测。K-最近邻对结构做了适当的假设，所以预测通常是精确但不稳定的。
2.3.1线性模型和最小二乘
在过去的30年中，线性模型一直是统计学的支柱，而且现在依然是我们最重要的工具之...
分类：
其他好文 时间：
2015-03-15 13:57:03
阅读次数：
161
十一、Linear Models for Classification 用于分类的线性模型。
分类：
其他好文 时间：
2015-03-14 10:53:09
阅读次数：
158
最近一直在回顾linear regression model和logistic regression model，但对其中的一些问题都很疑惑不解，知道我看到广义线性模型即Generalized Linear Model后才恍然大悟原来这些模型是这样推导的，在这里与诸位分享一下，具体更多细节可以参.....
分类：
其他好文 时间：
2015-03-13 23:35:14
阅读次数：
166
广义线性模型
广义线性模型应满足三个假设：
第一个假设为给定X和参数theta,Y的分布服从某一指数函数族的分布。
第二个假设为给定了X，目标是输出 X条件下T(y)的均值，这个T(y)一般等于y，也有不等的情况，
第三个假设是对假设一种的变量eta做出定义。
指数函数族
前面提到了指数函数族，这里给出定义，满足以下形式的函数构成了指数函数族：...
分类：
其他好文 时间：
2015-03-12 22:33:16
阅读次数：
216
在解决一些简单的分类问题时，线性回归与逻辑回归就足以应付，但面对更加复杂的问题时（例如对图片中车的类型进行识别），运用之前的线性模型可能就得不到理想的结果，而且由于更大的数据量，之前方法的计算量也会变得异常庞大。因此我们需要学习一个非线性系统：神经网络。
我在学习时，主要通过Andrew Ng教授提供的网络，而且文中多处都有借鉴Andrew Ng教授在mooc提供的资料。
...
分类：
其他好文 时间：
2015-03-05 14:56:33
阅读次数：
872
