牛顿方法 转载请注明出处：http://www.cnblogs.com/BYRans/ 在讲义《线性回归、梯度下降》和《逻辑回归》中我们提到可以用梯度下降或梯度上升的方式求解θ。在本文中将讲解另一种求解θ的方法：牛顿方法（Newton's method）。牛顿方法（Newton's method） ...
分类：
其他好文 时间：
2015-08-11 12:04:33
阅读次数：
233
**************************************
注：本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结很容易遗忘，根据课程加上自己对不明白问题的补充遂有此系列博客。本系列博客包括线性回归、逻辑回归、神经网络、机器学习的应用和系统设计、支持向量机、聚类、将维、异常检测、推荐系统及大规模机器学习等内容...
分类：
其他好文 时间：
2015-08-10 00:23:06
阅读次数：
146
**************************************
注：本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结很容易遗忘，根据课程加上自己对不明白问题的补充遂有此系列博客。本系列博客包括线性回归、逻辑回归、神经网络、机器学习的应用和系统设计、支持向量机、聚类、将维、异常检测、推荐系统及大规模机器学习等内容...
分类：
其他好文 时间：
2015-08-09 12:35:38
阅读次数：
1496
这一讲主要是针对单变量的线性回归来讲两个基本概念：损失函数（cost function）、梯度下降(Gradient Descent)1 Cost Function
定义如下：
左图为cost function的定义。右边为只有一个参数的h(x)的情况。
cost function的作用的评价一个回归函数好坏用的，具体来说就是评价回归函数h(x)的参数选对没。
这里J(theta)也可以...
分类：
其他好文 时间：
2015-08-08 16:42:04
阅读次数：
142
*******************************************************************************
注：本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结很容易遗忘，根据课程加上自己对不明白问题的补充遂有此系列博客。本系列博客包括线性回归、逻辑回归、神经网络、机器学习...
分类：
其他好文 时间：
2015-08-08 15:01:04
阅读次数：
469
本文主要分两个部分进行讨论，首先介绍最简单的线性回归模型；接着对逻辑回归进行分析1、线性回归-->最小二乘法对于线性回归问题，我们根据自变量的个数将其分为一元线性回归和多元线性回归，本部分先详细介绍一元线性模型，然后将其推广到多元线性模型1）一元线性模型当输入只有一个自变量时，我们称之为一元线性模型...
分类：
其他好文 时间：
2015-08-06 22:10:59
阅读次数：
226
本笔记为吴恩达机器学习在线课程笔记，课程网址（https://www.coursera.org/learn/machine-learning/）2.1 模型表示参考视频: 2 - 1 - Model Representation (8 min).mkv 本课程讲解的第一个算法为"回归算法"，本节将要...
分类：
其他好文 时间：
2015-08-06 20:16:29
阅读次数：
227
本文主要讲解局部加权(线性)回归。在讲解局部加权线性回归之前，先讲解两个概念：欠拟合、过拟合，由此引出局部加权线性回归算法。欠拟合、过拟合 如下图中三个拟合模型。第一个是一个线性模型，对训练数据拟合不够好，损失函数取值较大。如图中第二个模型，如果我们在线性模型上加一个新特征项，拟合结果就会好一些.....
分类：
其他好文 时间：
2015-08-05 20:20:46
阅读次数：
312
线性回归中提到最小二乘损失函数及其相关知识。对于这一部分知识不清楚的同学可以参考上一篇文章《线性回归、梯度下降》。本篇文章主要讲解使用最小二乘法法构建损失函数和最小化损失函数的方法。 最小二乘法构建损失函数 最小二乘法也一种优化方法，用于求得目标函数的最优值。简单的说就是：让我们的预测值与真实值总的...
分类：
其他好文 时间：
2015-08-04 19:03:17
阅读次数：
143
GMM-UBM系统框架
GMM-UBM的核心思想是用混合高斯函数去拟合特征在高维空间的概率密度分布，在训练说话人模型的时候，由于注册时说话人的数据稀疏，通常利用一个通用背景模型(Universal Background Model，UBM)和少量的说话人数据，通过自适应算法(如最大后验概率MAP，最大似然线性回归MLLR等)得到目标说话人模型；在测试时，用测试语音相对于目标说话人模型和UBM模型...
分类：
其他好文 时间：
2015-08-03 21:00:17
阅读次数：
409
