课程简介：
本讲通过回顾上一讲内容，引出了VC维的定义，它是由统计学习理论定义的有关函数集学习性能的一个重要指标。并通过例子证明函数集的VC维就是它能打散的最大样本数目。课程最后介绍VC维的应用，指出它反映了函数集的学习能力，VC维越大则学习机器越复杂...
分类：
其他好文 时间：
2014-09-11 23:57:02
阅读次数：
573
机器学习(4)之Logistic回归1. 算法推导 与之前学过的梯度下降等不同，Logistic回归是一类分类问题，而前者是回归问题。回归问题中，尝试预测的变量y是连续的变量，而在分类问题中，y是一组离散的，比如y只能取{0,1}。 假设一组样本为这样如图所示，如果需要用线性回归来拟合这些样本...
分类：
其他好文 时间：
2014-09-11 23:45:12
阅读次数：
348
最大似然估计： 这个我们大学学习概率一直用到的东西，其实非常牛逼！ 什么是最大似然估计？ 问题：给定一组观察数据还有一个参数待定的模型，如何来估计这个未知参数呢？ 观察数据（x1，y1）......(xn,yn) 待定模型参数为θ，模型为f（x;θ）。这时候可以借助观察数据来估计这个θ。这...
分类：
其他好文 时间：
2014-09-11 19:05:12
阅读次数：
193
在Lecture4中有3部分内容： Newton’s method 牛顿方法 Exceponential Family 指数分布族 Generalized Linear Models 广义线性模型（GLMS） 牛顿法上一篇随便中已经讲过了，是平行于梯度下降算法的另一种最优化算法。 然后，视频中证明了...
分类：
其他好文 时间：
2014-09-11 18:59:42
阅读次数：
278
转自论坛http://www.ieee.org.cn/dispbbs.asp?BoardID=62&replyID=31567&id=29962&star=1&skin=0作者好像是南大周志华老师 我知道的几个人工智能会议(一流)下面同分的按字母序排列:IJCAI (1+): AI最好的综合性会议,...
分类：
其他好文 时间：
2014-09-11 15:10:52
阅读次数：
224
机器学习(3)之最小二乘法的概率解释在前面梯度下降以及正规方程组求解最优解参数Θ时，为什么选择最小二乘作为计算参数的指标，使得假设预测出的值和真正y值之间面积的平方最小化？我们提供一组假设，证明在这组假设下最小二乘是有意义的，但是这组假设不唯一，还有其他很多方法可以证明其有意义。（1）假设1：假设输...
分类：
其他好文 时间：
2014-09-11 01:02:41
阅读次数：
291
课程简介：
本次课程主题为"泛化理论"，介绍了机械学习相关课程，重点介绍与之相关的公式推导及其应用。是这一整套课程中最具理论的课程，如果读者理解了该部分内容，那么对于后面课程的理解将会有很大的帮助。...
分类：
其他好文 时间：
2014-09-10 17:49:21
阅读次数：
227
之前我们在求Logistic回归时，用的是梯度上升算法，也就是要使得似然函数最大化，利用梯度上升算法，不断的迭代。这节课引出牛顿方法，它的作用和梯度上升算法的一样的，不同的是牛顿方法所需的迭代次数更少，收敛速度更快。红色曲线是利用牛顿法迭代求解，绿色曲线是利用梯度下降法求解。牛顿法：wiki牛顿法（...
分类：
其他好文 时间：
2014-09-10 15:30:40
阅读次数：
317
Weka算法Classifier-tree-RandomForest源码分析（二）代码实现...
分类：
其他好文 时间：
2014-09-09 23:05:59
阅读次数：
262
入门：数据挖掘入门的书籍，中文的大体有这些：JiaweiHan的《数据挖掘概念与技术》IanH.Witten/EibeFrank的《数据挖掘实用机器学习技术》TomMitchell的《机器学习》TOBYSEGARAN的《集体智慧编程》AnandRajaraman的《大数据》Pang-NingTan的...
分类：
其他好文 时间：
2014-09-09 22:55:09
阅读次数：
405
