线性回归算法优缺点：优点：结果易于理解，计算不复杂缺点：对非线性数据拟合不好适用数据类型：数值型和标称型算法思想：这里是采用了最小二乘法计算（证明比较冗长略去）。这种方式的优点是计算简单，但是要求数据矩阵X满秩，并且当数据维数较高时计算很慢；这时候我们应该考虑使用梯度下降法或者是随机梯度下降（同Lo...
分类：
其他好文 时间：
2014-12-06 01:21:06
阅读次数：
892
其实早该整理一下PCA了，怎奈一直没有时间，可能是自己对时间没有把握好吧，下面进入正题。降维的概念所谓降维，就是降低数据的维数。在机器学习中尤其常见，之前做过对一幅图片提取小波特征，对于一幅大小为800*600的图片，如果每个点提取五个尺度、八个方向的特征，那么每一个像素点提取40个特征，那么一副图...
分类：
其他好文 时间：
2014-12-05 23:59:57
阅读次数：
397
前一篇文章《正交投影》中我们讲述了正交投影，现在我们来从正交投影的角度来看看我们熟悉的最小二乘法。我记得最早知道最小二乘法是在大一上高数课的时候，我们首先回顾一下什么是最小二乘法。
1、最小二乘法
最近机器学习比较火，机器学习中的许多算法都是对信息进行分类，比如说支持向量机就是根据已知信息来分类，神经网络可以找到输入输出的关系（当然，不能给出具体的数学表达式），这两种算法都能找...
分类：
其他好文 时间：
2014-12-05 12:42:01
阅读次数：
274
8.4.1 决策树（Decision trees）
决策树是机器学习中最流行的一种算法，可以用于根据数据作出决策，或把输入划分为不同的类别。算法使用树描述数据的哪些属性应进行测试，对每个可能的答案决定做什么。对答案反应既可能是另一个测试，也可能是最终答案。
机器学习理论提供了复杂的方法，用于自动从数据生成树，但对于我们的示例，我们将手工创建树。图 8.3 显示了我们问题的决策树。...
分类：
其他好文 时间：
2014-12-05 10:57:26
阅读次数：
216
原文地址 编者按：原文作者Piotr Wendykier，专注于 mathematica 算法编程及研发。（根据本地阅读习惯略有删改，英文好的同学建议阅读原文）。 梵高有一幅油画叫 Starry Night，也就是《星空》。我常常想，梵高在精神病院完成这幅名作时，他眼里看到（或脑海中）浩瀚星空的全....
分类：
其他好文 时间：
2014-12-05 10:40:55
阅读次数：
291
参考：cs229讲义机器学习（一）：生成学习算法Generative Learning algorithms：http://www.cnblogs.com/zjgtan/archive/2013/06/08/3127490.html首先，简单比较一下前几节课讲的判别学习算法（Discriminati...
分类：
编程语言 时间：
2014-12-05 07:03:54
阅读次数：
354
机器学习定义 Machine Learning definitionArthur Samuel （1959）. Machine Learning:Field of study that gives computers the ability to learn without being explic...
分类：
其他好文 时间：
2014-12-05 00:25:34
阅读次数：
157
上海交通大学张志华老师的公开课《机器学习导论》，课程链接：http://ocw.sjtu.edu.cn/G2S/OCW/cn/CourseDetails.htm?Id=397争取三天一节，做好笔记。ok，直奔主题。（一） 基本概念data mining 和 machine learning本质是一码...
分类：
其他好文 时间：
2014-12-04 19:55:56
阅读次数：
325
AdaBoost算法有AdaBoost.M1和AdaBoost.M2两种算法，AdaBoost.M1是我们通常所说的Discrete AdaBoost，而AdaBoost.M2是M1的泛化形式。关于AdaBoost算法的一个结论是:当弱分类器算法使用简单的分类方法时,boosting的效果明显地统一地比bagging要好.当弱分类器算法使用C4.5时,boosting比bagging较好,但是没有前者明显。后来又有学者提出了解决多标签问题的AdaBoost.MH和AdaBoost.MR算法,其中AdaBoo...
分类：
编程语言 时间：
2014-12-04 14:02:17
阅读次数：
342
