上节在
《机器学习之从logistic到神经网络算法》
中，我们已经从原理上介绍了神经网络算法的来源与构造，并编程实战了简单神经网络对于线性与非线性数据的分类测试实验。看过上节的可能会发现，上节实现的算法对于非线性数据的分类效果并不是非常完美，有许多值得优化的地方。而matlab作为一个科学计算软件，本身集成了非常多的优化算法，其中的神经网络工具箱就是其中一个优秀的工具箱，本节将以工具箱中的函数...
分类：
其他好文 时间：
2015-08-11 23:33:36
阅读次数：
6172
此文是斯坦福大学，机器学习界 superstar — Andrew Ng 所开设的 Coursera 课程：Machine Learning 的课程笔记。力求简洁，仅代表本人观点，不足之处希望大家探讨。...
分类：
系统相关 时间：
2015-08-11 01:25:45
阅读次数：
390
在前两节曾经介绍过logistic回归与分类算法，并对线性与非线性数据集分别进行分类实验。Logistic采用的是一层向量权值求和的方式进行映射，所以本质上只能对线性分类问题效果较好（实验也可以看到），其模型如下所示（详细的介绍可看上两次博客：机器学习之logistic分类线性与非线性实验（续））：既然如此，我们可不可以在Y出来之前在多进行几次映射呢？答案是可以的，这就引出了多层网络，每层网络的输出...
分类：
编程语言 时间：
2015-08-10 18:13:13
阅读次数：
199
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvenFoXzE5OTE=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">watermark/2/...
分类：
系统相关 时间：
2015-08-09 13:48:14
阅读次数：
178
本节续上节机器学习之logistic回归与分类对logistic分类的线性与非线性进行实验。上节中的“种子”分类实例中，样本虽然有7维，但是很大很大程度上符合线性可分的，为了在说明上节中的那种logistic对于非线性不可分，进行如下的两组样本进行实验，一组线性，一组非线性，样本如下：
线性样本：
非线性样本：
为了防止完全可分，在1,2类样本的分界面上重叠一部分样本，也就是说这部分样本很...
分类：
其他好文 时间：
2015-08-09 12:44:36
阅读次数：
111
logistic回归与分类是一种简单的分类算法。在分类的过程中只需要找到一个划分不同类的权重向量即可，对新的数据只需要乘上这个向量并比较就可以得到分类。比如下图的二分类问题：
每个样本点可以看成包含两个特征（x1,x2）,现在需要把他们分开，如果这是训练集，他们本身属于哪一个类是已知的，比如说蓝色的属于0类，红色的属于1类，现在我们想通过这些数据建立一个分类标准可以将他们分开，这样再来了一个不...
分类：
其他好文 时间：
2015-08-08 18:24:00
阅读次数：
1365
这一讲主要是针对单变量的线性回归来讲两个基本概念：损失函数（cost function）、梯度下降(Gradient Descent)1 Cost Function
定义如下：
左图为cost function的定义。右边为只有一个参数的h(x)的情况。
cost function的作用的评价一个回归函数好坏用的，具体来说就是评价回归函数h(x)的参数选对没。
这里J(theta)也可以...
分类：
其他好文 时间：
2015-08-08 16:42:04
阅读次数：
142
因为要用svm做regression，所以看了一些关于libsvm，总结以备用
libsvm在训练model的时候，有如下参数要设置，当然有默认的参数，但是在具体应用方面效果会大大折扣。
Options：可用的选项即表示的涵义如下
-s svm类型：SVM设置类型(默认0)
0 -- C-SVC
1 --v-SVC
2 – 一类SVM
3 -- e -SV...
分类：
其他好文 时间：
2015-08-06 22:31:13
阅读次数：
198
本笔记为吴恩达机器学习在线课程笔记，课程网址（https://www.coursera.org/learn/machine-learning/）2.1 模型表示参考视频: 2 - 1 - Model Representation (8 min).mkv 本课程讲解的第一个算法为"回归算法"，本节将要...
分类：
其他好文 时间：
2015-08-06 20:16:29
阅读次数：
227
特征空间映射1. 问题
简单的0,1分类 – 即标签y=y = {0,10,1}
特征值：x=[x1,x2]x = [x_1, x_2]二维
数据离散点如图：
2.解答
数据是二维的，因此如果利用Logistics Regression 的到的θ\theta只有三个数，所以分类超平面是二维坐标下的直线
由数据分布图可以知道分类超平面应该是一个二次曲线，所以这里利用多项式核函数：K=(...
分类：
其他好文 时间：
2015-08-06 13:21:08
阅读次数：
187
