机器学习算法 原理、实现与实战——模型评估与模型选择1. 训练误差与测试误差机器学习的目的是使学习到的模型不仅对已知数据而且对未知数据都能有很好的预测能力。假设学习到的模型是$Y = \hat{f}(X)$，训练误差是模型$Y = \hat{f}(X)$关于训练数据集的平均损失：$$R_{emp}(...
分类：
其他好文 时间：
2014-10-31 11:20:27
阅读次数：
311
机器学习算法原理、实现与实践——监督学习机器学习包括监督学习、非监督学习、半监督学习及强化学习，这里先讨论监督学习。 监督学习的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测。1 基本概念1.1 输入空间、特征空间与输出空间输入与输出所有可能取值的集合分别称为输入空间...
分类：
其他好文 时间：
2014-10-31 09:57:32
阅读次数：
461
机器学习算法原理、实现与实践——机器学习的三要素1 模型在监督学习中，模型就是所要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。例如，假设决策函数是输入变量的线性函数，那么模型的假设空间就是这些线性函数构成的函数的集合。假设空间用$\mathcal{F}$表示。假...
分类：
其他好文 时间：
2014-10-31 09:57:04
阅读次数：
4030
这几天在看《统计学习方法》这本书，发现 梯度下降法在 感知机 等机器学习算法中有很重要的应用，所以就特别查了些资料。 一.介绍 梯度下降法（gradient descent）是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。二.应用...
分类：
其他好文 时间：
2014-10-30 20:54:29
阅读次数：
895
决策树的核心思想是：根据训练样本构建这样一棵树，使得其叶节点是分类标签，非叶节点是判断条件，这样对于一个未知样本，能在树上找到一条路径到达叶节点，就得到了它的分类。举个简单的例子，如何识别有毒的蘑菇？如果能够得到一棵这样的决策树，那么对于一个未知的蘑菇就很..
分类：
编程语言 时间：
2014-10-30 19:26:22
阅读次数：
338
k近邻（k-NearestNeighbor，KNN）算法，应该是机器学习里最基础的算法，其核心思想是：给定一个未知分类的样本，如果与它最相似的k个已知样本中的多数属于某一个分类，那么这个未知样本也属于这个分类。所谓相似，是指两个样本之间的欧氏距离小，其计算公式为：k近邻算法的优点..
分类：
编程语言 时间：
2014-10-30 15:30:23
阅读次数：
231
李航：http://research.microsoft.com/en-us/people/hangli/，是MSRA Web Search and Mining Group高级研究员和主管，主要研究领域是信息检索，自然语言处理和统计学习。近年来，主要与人合作使用机器学习方法对信息检索中排序，相关性...
分类：
编程语言 时间：
2014-10-26 18:19:05
阅读次数：
208
机器学习课程要求：掌握基本线性代数(矩阵、矢量、矩阵向量乘法),和基本概率(随机变量、基本属性的概率)以及微积分机器学习：引言课程1 机器学习：引言课程2机器学习算法分为：1.监督式学习算法2.非监督式学习算法3.强化学习算法4.推荐系统机器学习：引言课程3—监督式学习监督式学习...
分类：
其他好文 时间：
2014-10-24 18:34:45
阅读次数：
228
K~近邻算法是最简单的机器学习算法。工作原理就是：将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似的数据的分类标签。一般来说，只提取样本数据集中前K个最相似的数据。通常K不大于20，最后选择K个最相似数据中出现次数最多的分类，最为新的数据分类。
但是K~近邻算法必须保存全部的数据集，如果训练数据集很大，必须使用打量的存储空间。此外，由于必须对数据集中每个...
分类：
编程语言 时间：
2014-10-22 18:24:18
阅读次数：
192
大数据的热门使得非常多人都想往这个方向发展，做一些像数据挖掘，数据分析之类的工作。可是该从何開始呢？要如何才干高速学到一些实用的知识，技能呢？我认为有三个切入点，按照个人特点能够自行选择顺序切入。1机器学习/数据挖掘数据挖掘主要依赖于大部分机器学习算法，近些年因为深度学习算法的开发以及无人驾驶汽车等...
分类：
其他好文 时间：
2014-10-21 21:14:11
阅读次数：
239
