本系列文章都是关于UFLDL Tutorial的学习笔记Neural Networks
对于一个有监督的学习问题，训练样本输入形式为(x(i),y(i))。使用神经网络我们可以找到一个复杂的非线性的假设h(x(i))可以拟合我们的数据y(i)。我们先观察一个神经元的机制：
每个神经元是一个计算单元，输入为x1,x2,x3，输出为：
其中f()是激活函数，常用的激活函数是S函数：
S函数的形状如下，它...
分类：
Web程序 时间：
2016-06-02 14:26:24
阅读次数：
524
OpenCV开发SVM算法是基于LibSVM软件包开发的，LibSVM是台湾大学林智仁(LinChih-Jen)等开发设计的一个简单、易于使用和快速有效的SVM模式识别与回归的软件包。用OpenCV使用SVM算法的大概流程是
1）设置训练样本集
需要两组数据，一组是数据的类别，一组是数据的向量信息。
2）设置SVM参数
利用CvSVMParams类实现类内的成员变量svm_type...
分类：
其他好文 时间：
2016-05-20 19:45:53
阅读次数：
720
引言：当两类样本线性可分时，针对我们之前学习的感知机而言，存在多个超平面能将数据分开，这里要讨论什么样的分类面最好的问题。为此，我们形式化的定义了最优分类超平面，他有两点特征:1.能将训练样本没有错误的分开；2.在样本中距离超平面最近的样本与超平面之间的距离最大。 1.没有错误的分开： 对尺度影响的 ...
分类：
其他好文 时间：
2016-05-20 11:18:36
阅读次数：
151
问题的引入： 考虑一个典型的有监督机器学习问题，给定m个训练样本S={x(i),y(i)}，通过经验风险最小化来得到一组权值w，则现在对于整个训练集待优化目标函数为： 其中为单个训练样本（x(i),y(i)）的损失函数，单个样本的损失表示如下： 引入L2正则，即在损失函数中引入，那么最终的损失为： ...
分类：
其他好文 时间：
2016-05-13 08:47:25
阅读次数：
207
为函数间隔的定义
考虑训练样本里r hat的最小值，对应的是训练样本里函数间隔的最坏情形：
几何间隔：
= r hat / || w ||
最优间隔分类器的定义：
拉格朗日对偶性：略。
若要dual*=primary*=L(w*,...
分类：
其他好文 时间：
2016-05-13 02:42:59
阅读次数：
169
本文练习的是最简单的二元线性回归。题目本题给出的是5050个数据样本点，其中xx为这5050个小朋友到的年龄，年龄为22岁到88岁，年龄可有小数形式呈现。YY为这5050个小朋友对应的身高，当然也是小数形式表示的。现在的问题是要根据这5050个训练样本，估计出3.53.5岁和77岁时小孩子的身高。通过画出训练样本点的分布凭直觉可以发现这是一个典型的线性回归问题。matlab函数介绍legend:比如...
分类：
其他好文 时间：
2016-05-13 00:53:55
阅读次数：
372
Mixtures of Gaussian
这一讲，我们讨论利用EM (Expectation-Maximization)做概率密度的估计。假设我们有一组训练样本x(1),x(2),...x(m){x^{(1)}, x^{(2)},...x^{(m)}},因为是unsupervised的学习问题，所以我们没有任何y的信息。
我们希望利用一个联合分布p(x(i),z(i))=p(x(i)|z(i)...
分类：
编程语言 时间：
2016-05-12 17:49:17
阅读次数：
158
本文主要是来练习多变量线性回归问题（3个变量）。那个时候用梯度下降法求解时，给出的学习率是固定的0.70.7。而本次实验中学习率需要自己来选择，因此我们应该从小到大（比如从0.0010.001到1010）来选择，通过观察损失值与迭代次数之间的函数曲线来决定使用哪个学习速率。当有了学习速率α\alpha后，则本问问题求解方法和上面的没差别。本文要解决的问题是给出了4747个训练样本，训练样本的yy值为...
分类：
其他好文 时间：
2016-05-12 15:07:55
阅读次数：
167
Principal components analysis
这一讲，我们简单介绍Principal Components Analysis(PCA)，这个方法可以用来确定特征空间的子空间，用一种更加紧凑的方式（更少的维数）来表示原来的特征空间。假设我们有一组训练集{x(i);i=1,...m}\{x^{(i)}; i=1,...m \}，含有m个训练样本，每一个训练样本x(i)∈Rnx^{(i)...
分类：
其他好文 时间：
2016-05-12 11:37:10
阅读次数：
201
摘自UFLDL教程，链接：http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B 一. 概述 以监督学习为例，假设我们有训练样本集 ，那么神经网络算法能够提供一种复杂且非线性的假设模型 ，它具有参数 ，可以以此参 ...
分类：
其他好文 时间：
2016-05-08 19:34:26
阅读次数：
461
