引入我们回顾一下之前学习的两个算法，Bagging算法中，通过bootstrapping得到不一样的数据，通过这些数据送到一个基本算法之后，得到不同的g，最后对这些g取平均得到G；决策树算法中，通过递归方式建立子树，最终得到一棵完整的树。
这两种算法都有其鲜明的特点，决策树对于不同的数据相对会敏感一些，即其算法的variance很大，而Bagging的特点是通过投票和平均的方式来降低varianc...
分类：
编程语言 时间：
2015-07-26 12:39:46
阅读次数：
1131
引言上一节中介绍了《随机森林算法》，该算法使用bagging的方式作出一些决策树来，同时在决策树的学习过程中加入了更多的随机因素。该模型可以自动做到验证过程同时还可以进行特征选择。
这一节，我们将决策树和AdaBoost算法结合起来，在AdaBoost中每一轮迭代，都会给数据更新一个权重，利用这个权重，我们学习得到一个g，在这里我们得到一个决策树，最终利用线性组合的方式得到多个决策树组成的G。...
分类：
其他好文 时间：
2015-07-26 12:38:46
阅读次数：
149
下面主要总结线性回归与逻辑回归下的过拟合问题。【过拟合问题的定义】【过拟合问题的解决方法】
怎样解决过拟合问题呢？两个方法：
1. 减少feature个数（人工定义留多少个feature、算法选取这些feature）
2. 正则化（留下所有的feature，但对于部分feature定义其parameter非常小）
下面我们将对线性回归与逻辑回归的正则化进行详细的讲解。【一、线性回归的正则化...
分类：
其他好文 时间：
2015-07-26 11:09:25
阅读次数：
191
scala并发编程原生线程Actor、Case Class下的消息传递和偏函数实战...
分类：
编程语言 时间：
2015-07-26 00:35:16
阅读次数：
140
关于这部分主要是想在python下试验一下主成分分析（PCA）算法以及简单的人脸识别。曾经详述过matlab下的PCA以及SVM算法进行人脸识别技术，参考如下：主成分分析法-简单人脸识别（一）主成分分析-简单人脸识别（二）PCA实验人脸库-人脸识别（四）PCA+支持向量机-人脸识别（五）主成分分析（PCA）算法主要是对高维数据进行降维，最大限度的找到数据间的相互关系，在机器学习、数据挖掘上很有用。在...
分类：
编程语言 时间：
2015-07-25 20:00:11
阅读次数：
147
该方法是快速求解Ax=b线性系统的方法，他要求矩阵A是对称正定矩阵。
算法执行过程：
matlab实现：clear;%删除工作空间的所有变量,释放系统内存
clc;%清楚命名窗口
A=[4 1;1 3];
b=[1,2]';
N=length(b); %解向量的维数
fprintf('库函数计算结果：');
x=inv(A)*b %库函数计算结果
x=[2;1];...
分类：
其他好文 时间：
2015-07-25 18:35:23
阅读次数：
175
【原创】Liu_LongPo
转载请注明出处【CSDN】http://blog.csdn.net/llp1992GMM算法GMM ，Gaussian Mixture Model，顾名思义，就是说该算法由 多个高斯模型线性叠加 混合而成。每个高斯模型我们称之为 component 。GMM算法描述的是数据的本身存在的一种分布，如果component足够多的话，GMM可以逼近任意一种概率密度分布，但...
分类：
其他好文 时间：
2015-07-25 18:31:26
阅读次数：
444
从今天开始，与大家分享我学习《Machine Learning In Action》这本书的笔记与心得。我会将源码加以详细的注释，这是我自己学习的一个过程，也是想通过这种方式帮助需要学习的童鞋的一种方式。k-近邻算法定义k-近邻(k-Nearest Neighbour，kNN)算法采用测量不同特征值之间的距离的方法进行分类。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的...
分类：
编程语言 时间：
2015-07-25 18:26:35
阅读次数：
288
原文：http://www.itongji.cn/article/06294DH015.html机器学习方法非常多，也很成熟。下面我挑几个说。首先是SVM。因为我做的文本处理比较多，所以比较熟悉SVM。SVM也叫支持向量机，其把数据映射到多维空间中以点的形式存在，然后找到能够分 类的最优超平面，最后...
分类：
其他好文 时间：
2015-07-25 16:39:14
阅读次数：
164
盘点机器学习和统计模型的差异出处：微信公众号_Datartisan数据工匠(shujugongjiang)在各种各样的数据科学论坛上这样一个问题经常被问到——机器学习和统计模型的差别是什么？这确实是一个难以回答的问题。考虑到机器学习和统计模型解决问题的相似性，两者的区别似乎仅仅在于数据量和模型建立者...
分类：
其他好文 时间：
2015-07-25 13:35:41
阅读次数：
116
