第二周 神经网络基础 2.1 二分分类 二分类：训练一个分类器，输入图片的特征向量x，预测结果的标签是0还是1 输入rgb图片尺寸为64*64，则输入特征向量（列向量）x为64*64*3 写法：m个训练样本 { (x(1) ,y(1)), (x(2) ,y(2)),...,(x(m) ,y(m))} ...
分类：
其他好文 时间：
2017-09-12 10:05:28
阅读次数：
153
boosting 算法： 通过改变训练样本的权重，学习多个分类器，并将多个分类器线性组合，提升分类性能。（对于一个复杂任务，将多个专家的判断进行适当的综合得出的判断，要比任一一个单独的判断好） 将弱学习方法boost 为强学习算法。因为弱学习算法相对容易求得。提升算法就是从弱学习算法，出发反复学习， ...
分类：
其他好文 时间：
2017-09-10 13:28:15
阅读次数：
196
1、为什么是ML策略 例如：识别cat分类器的识别率是90%，怎么进一步提高识别率呢？ 想法： （1）收集更多数据 （2）收集更多的多样性训练样本 （3）使用梯度下降训练更长时间 （4）尝试Adam代替梯度下降 （5）尝试更大的网络 （6）尝试更小的网络 （7）尝试dropout （8）尝试L2正则 ...
分类：
其他好文 时间：
2017-09-09 09:49:34
阅读次数：
214
上一节当中，为了能够训练logistic回归模型的参数w和b，需要定义一个成本函数 使用logistic回归训练的成本函数 为了让模型通过学习来调整参数，要给出一个含有m和训练样本的训练集很自然的，希望通过训练集找到参数w和b，来得到自己得输出对训练集当中的值进行预测，将他写成y^（I）我们希望他会... ...
分类：
其他好文 时间：
2017-09-08 23:58:47
阅读次数：
568
一.svm概述 svm是一种二分类模型，学习策略是通过间隔最大化来实现分类的目的，最终转化为了凸二次规划求解，即： 的确我们可以单纯的通过求解凸二次规划问题来获得答案，但是当训练样本量很大时，这些算法就会变的低效，从上面的公式就可以直观看出，有多少样例就有多少乘子，如何高效求解拉格朗日乘子成为了关键 ...
分类：
编程语言 时间：
2017-09-03 01:15:11
阅读次数：
315
以下是我们在推导sparse autoencoder时使用的符号一览表： 符号 含义 训练样本的输入特征，. 输出值/目标值. 这里 能够是向量. 在autoencoder中。. 第 个训练样本 输入为 时的如果输出，当中包括參数 . 该输出应当与目标值 具有同样的维数. 连接第 层 单元和第 层 ...
分类：
其他好文 时间：
2017-08-21 13:26:58
阅读次数：
180
VC维在有限的训练样本情况下，当样本数 n 固定时。此时学习机器的 VC 维越高学习机器的复杂性越高。VC 维反映了函数集的学习能力，VC 维越大则学习机器越复杂(容量越大)。 所谓的结构风险最小化就是在保证分类精度（经验风险）的同一时候，减少学习机器的 VC 维，能够使学习机器在整个样本集上的期望 ...
分类：
其他好文 时间：
2017-08-16 23:13:58
阅读次数：
188
k聚类算法中如何选择初始化聚类中心所在的位置。 在选择聚类中心时候，如果选择初始化位置不合适，可能不能得出我们想要的局部最优解。 而是会出现一下情况： 为了解决这个问题，我们通常的做法是： 我们选取K<m个聚类中心。 然后随机选择K个训练样本的实例，之后令k个聚类中心分别与k个训练实例相等。 之后我 ...
分类：
编程语言 时间：
2017-08-16 11:24:13
阅读次数：
175
代码如下： 实现一个小的KNN算法. 在kNNClassify()函数中 KNN算法的步骤： 1.计算测试数据与各个训练样本数据之间的距离，距离有两种计算方法,分别是欧式距离和曼哈顿距离 2.按照距离的递增关系进行排序 3.选取距离最近的前K个点 4.确定前K个点的所在类别的出现频率 5.返回前K个 ...
分类：
编程语言 时间：
2017-08-14 18:55:38
阅读次数：
139
1.监督学习（Supervised Learning）：回归问题，分类问题 1.1 拿支持向量机举个例子，分类问题和回归问题都要根据训练样本找到一个实值函数g(x). 回归问题的要求是：给定一个新的模式，根据训练集推断它所对应的输出y（实数）是多少。也就是使用y=g(x)来推断任一输入x所对应的输出 ...
分类：
其他好文 时间：
2017-08-11 22:03:18
阅读次数：
136
