牛顿方法本次课程大纲：1、牛顿方法：对Logistic模型进行拟合2、指数分布族3、广义线性模型（GLM）：联系Logistic回归和最小二乘模型复习：Logistic回归：分类算法假设给定x以为参数的y=1和y=0的概率：求对数似然性：对其求偏导数，应用梯度上升方法，求得：本次课程介绍的牛顿方法是...
分类：
其他好文 时间：
2015-04-11 14:49:46
阅读次数：
166
欠拟合与过拟合概念本次课程大纲：1、局部加权回归：线性回归的变化版本2、概率解释：另一种可能的对于线性回归的解释3、Logistic回归：基于2的一个分类算法4、感知器算法：对于3的延伸，简要讲复习：–第i个训练样本令，以参数向量为条件，对于输入x，输出为：n为特征数量定义成本函数J，定义为：m为训...
分类：
其他好文 时间：
2015-04-11 14:49:45
阅读次数：
193
生成学习算法本次课程大纲：1、生成学习算法2、高斯判别分析（GDA，Gaussian Discriminant Analysis）-高斯分布（简要）-对比生成学习算法&判别学习算法（简要）3、朴素贝叶斯4、Laplace平滑复习：分类算法：给出一个训练集，若使用logistic回归算法，其工作方式是...
分类：
编程语言 时间：
2015-04-11 14:48:14
阅读次数：
209
最优间隔分类器问题本次课程大纲：1、最优间隔分类器2、原始优化问题&对偶优化问题（KKT条件）3、SVM对偶问题4、核方法（下一讲）复习：支撑向量机中改动的符号：输出y∈{-1,+1}h输出的假设值也改为{-1,+1}g(z) = { 1 ,如果z>=0; -1,如果z> 0；如果y(i)=-1，为...
分类：
其他好文 时间：
2015-04-11 14:43:02
阅读次数：
168
朴素贝叶斯本次课程大纲：1、朴素贝叶斯-朴素贝叶斯事件模型2、神经网络（简要）3、支撑向量机（SVM）铺垫–最大间隔分类器复习：1、朴素贝叶斯一种生成学习算法，对p(x|y)建模。例：垃圾邮件分类以邮件输入流作为输入，输出y为{0,1}，1为垃圾邮件，0为非垃圾邮件。将邮件文本表示为一个输入向量x1...
分类：
其他好文 时间：
2015-04-11 14:37:54
阅读次数：
385
机器学习的动机与应用工具：需正版：Matlab，免费：Octave定义（Arthur Samuel 1959）：在不直接针对问题进行编程的情况下，赋予计算机学习能力的研究领域。例：Arthur的下棋程序，计算走每一步获胜的概率，最终打败程序作者本人。（感觉使用决策树思想）定义2（Tom Mitche...
分类：
其他好文 时间：
2015-04-10 19:59:18
阅读次数：
260
监督学习应用与梯度下降本课内容：1、线性回归2、梯度下降3、正规方程组（复习）监督学习：告诉算法每个样本的正确答案，学习后的算法对新的输入也能输入正确的答案1、线性回归例：Alvin汽车，先让人开车，Alvin摄像头观看（训练），而后实现自动驾驶。本质是一个回归问题，汽车尝试预测行驶方向。例：上一节...
分类：
其他好文 时间：
2015-04-10 19:46:58
阅读次数：
135
斯坦福大学机器学习公开课学习—1.机器学习的动机与应用介绍了课程主要内容包含以下4点1.supervised learning(监督学习)2.learning theory(学习理论)3.unsupervised learning(非监督学习)4.reinforcement le...
分类：
其他好文 时间：
2015-04-08 22:58:34
阅读次数：
207
自去年底开始学习Andrew Ng的机器学习公开课，欲依其课件试着实现部分算法以加深理解，然在此过程中遇到部分问题，或为程序实现，或为算法理解。故而准备将此课程整理，并记录自己的理解，或对或错可共同讨论。 此课程主要包括三部分：监督学习算法、无监督学习算法以及学习理论。监督学习部分讲了回归、生...
分类：
其他好文 时间：
2015-04-08 12:27:20
阅读次数：
109
回归问题提出 首先需要明确回归问题的根本目的在于预测。对于某个问题，一般我们不可能测量出每一种情况（工作量太大），故多是测量一组数据，基于此数据去预测其他未测量数据。 比如课程给出的房屋面积、房间数与价格的对应关系，如下表： 若要测量出所有情况，不知得测到猴年马月了。有了上面这一组测量数据，我...
分类：
其他好文 时间：
2015-04-08 12:20:04
阅读次数：
126
