SVM当然会过拟合，而且过度拟合的能力还非常强。首先我想说说什么叫过度拟合？就是模型学岔路了，把数据中的噪音当做有效的分类标准。通常越是描述能力强大的模型越容易过度拟合。描述能力强的模型就像聪明人，描述能力弱的如：”一次线性模型“像傻子，如果聪明人要骗人肯定比傻子更能自圆其说对不对？而SVM的其中一...
分类：
其他好文 时间：
2015-05-28 14:01:01
阅读次数：
167
从统计学角度来看深度学习（1）：递归广义线性模型原文链接：http://blog.shakirm.com/2015/01/a-statistical-view-of-deep-learning-i-recursive-glms/作者：Shakir Mohamed 翻译：王小宁 审校：冯凌秉 ...
分类：
其他好文 时间：
2015-05-27 11:55:30
阅读次数：
196
下面是回归分析的各种变体的简单介绍，解释变量和相应变量就是指自变量和因变量。
常用普通最小二乘（OLS）回归法来拟合实现简单线性、多项式和多元线性等回归模型。最小二乘法的基本原理前面已经说明了，使得预测值和观察值之差最小。
R中实现拟合线性模型最基本的函数是lm()，应用格式为：
myfit
data为观测数据，应该为一个data.frame，...
分类：
编程语言 时间：
2015-05-26 18:57:23
阅读次数：
366
闲话不多扯，关于.NET架构师的培训 架构师的知识体系总结：7大重点，对7大重点作为细节的阐述将再后面陆续展开！架构师的体系纲领主要来着这7点。（必须严格记下）1:现代软件开发过程及架构策略 1.1 软件架构设计师的知识体系 1.2 从线性模型到迭代模型 1.3 大型项目敏捷模型中的...
分类：
Web程序 时间：
2015-05-22 18:35:12
阅读次数：
144
前面两篇总结了线性支持向量机模型，总体来说，就是在样本输入空间下对每个维度进行线性组合之后使用符号函数判别最终的类别。第一个是理想情况下的线性可分SVM，这是第二个的近似线性可分SVM的基础。而且也是一种递进关系，是为了从数学抽象化的理想模型到现实情形的一种推广，但它们终究是一种线性模型，对于更复杂的现实情形有时候依然会难以描述，需要使用非线性模型去描述。非线性SVM由于现实问题的复杂性，导致训练的...
分类：
其他好文 时间：
2015-05-17 23:36:18
阅读次数：
163
本系列文章允许转载，转载请保留全文！【请先阅读】【说明&总目录】http://www.cnblogs.com/tbcaaa8/p/4415055.html1. 指数分布族简介之前的文章分别介绍了因变量服从高斯分布、伯努利分布、泊松分布、多项分布时，与之对应的回归模型，本文章将阐释这些模型的共同点，并...
分类：
系统相关 时间：
2015-05-16 20:13:32
阅读次数：
232
引言这一小节介绍一下支持向量回归，我们在之前介绍的核逻辑回归使用表示定理(Representer Theorem)，将逻辑回归编程Kernel的形式，这一节我们沿着这个思路出发，看看如何将回归问题和Kernel的形式结合起来。Kernel Ridge Regression上次介绍的表示定理告诉我们，如果我们要处理的是有L2的正则项的线性模型，其最优解是数据zn的线性组合。我们可以将这样的线性模型变成...
分类：
其他好文 时间：
2015-05-03 23:41:49
阅读次数：
415
用SPSS的童鞋都知道，我们常用的方差分析(ANOVA)在一般线性模型(General Linear Model，简称GLM)的菜单下。那GLM是何许人也呢？让我们打开万能的wiki，键入General Linear Model。。。看到的居然是一张毫无违和感的Fitting Plot： ...
分类：
其他好文 时间：
2015-05-01 00:27:27
阅读次数：
253
1.感知机：二类分类的线性模型，输入为实例的特征向量，输出为某类别，取+1和-1.目的在求出将训练数据进行线性划分的分离超平面，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化求得感知机模型。2.感知机模型： ，sign为符号函数，w为权值或权向量，b为偏置。 其几何解释：对应一个越.....
分类：
其他好文 时间：
2015-04-29 23:04:34
阅读次数：
186
在广告推荐系统中，利用用户和广告之间的信息作为预测的特征
预测的过程其实就是一个二分类的问题，主要就是判定一个用户对这个广告点击或者是不点击的概率是多少
而这个过程是一个伯努利函数，整个过程是一个伯努利分布
而在逻辑回归中主要是在线性回归的基础上利用了一个逻辑函数sigmod，而为什么要用这个函数，逻辑回归与线性回归之间的关系：
1 广义线性模型：
指数家...
分类：
其他好文 时间：
2015-04-26 18:25:38
阅读次数：
149
