一、状态和模型在CNN网络中的训练样本的数据为IID数据（独立同分布数据），所解决的问题也是分类问题或者回归问题或者是特征表达问题。但更多的数据是不满足IID的，如语言翻译，自动文本生成。它们是一个序列问题，包括时间序列和空间序列。这时就要用到RNN网络，RNN的结构图如..
分类：
其他好文 时间：
2017-06-29 17:34:54
阅读次数：
221
SGD 中 stochastic 什么意思： Mini-Batch。。。 随机梯度下降算法（SGD）是mini-batch GD的一个特殊应用。SGD等价于b=1的mini-batch GD。即，每个mini-batch中只有一个训练样本。full batch GD每一轮迭代需要所有样本参与，对于大 ...
分类：
其他好文 时间：
2017-06-27 08:06:21
阅读次数：
328
在我们比赛的算法中，我们使用了交叉验证方法来筛选比较重要的特征，现在我们来了解一下什么是交叉验证(Cross-Validation)：有时亦称循环估计， 是一种统计学上将数据样本切割成较小子集的实用方法。于是可以先在一个子集上做分析， 而其它子集则用来做后续对此分析的确认及验证。 一开始的子集被称为 ...
分类：
其他好文 时间：
2017-06-24 21:04:47
阅读次数：
145
1 Logistic Regression 简述Linear Regression 研究连续量的变化情况，而Logistic Regression则研究离散量的情况。简单地说就是对于推断一个训练样本是属于1还是0。那么非常easy地我们会想到概率，对，就是我们计算样本属于1的概率及属于0的概率，这样 ...
分类：
其他好文 时间：
2017-06-18 10:27:16
阅读次数：
219
K近邻分类算法概述 K-近邻算法是机器学习之中最简单的分类算法之一，它采用测量不同特征值之间的距离方法进行分类。它的工作原理是：存在一个样本数量集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中 ...
分类：
编程语言 时间：
2017-06-17 15:17:02
阅读次数：
212
最近发现了一篇有意思的文章，用SVM去判断红楼梦的作者是不是同一个人 原理就是在文言文中，文言虚词分布均匀，书中每个回目都会出现很多文言虚词，差别在于出现频率不同，我们把文言虚词的出现频率作为特征。 所以我也用了神经网络实现了一下，因为训练样本较小，直接做了一个2层神经网络 结果和SVM的差不多，都 ...
分类：
其他好文 时间：
2017-06-12 18:11:47
阅读次数：
212
在我们设计无监督学习模型时，应尽量做到 无监督学习的目标是为有监督模型提供初始化的参数，理想情况是“这些初始化的参数能够极大提高后续有监督模型准确率，即使有监督任务的训练样本数很少”。类别理解就是，我们在Imagenet上通过有监督的方式训练得到了表达能力很强的网络，在我们迁移至新的任务时（该任务带 ...
分类：
其他好文 时间：
2017-06-07 00:49:48
阅读次数：
173
一：线性回归： 例：上一节课的房屋大小与价格数据集 本例中：m：数据个数，x：房屋大小，y：价格 通用符号： m = 训练样本数 x = 输入变量（特征） y = 输出变量（目标变量） (x,y) – 一个样本 –第i个训练样本 = 对假设进行线性表示 h（x）=θ0+θ1*x 在线性回归的问题上大 ...
分类：
其他好文 时间：
2017-06-03 17:35:53
阅读次数：
323
本篇文章先介绍了提升放法和AdaBoost算法。已经了解的可以直接跳过。后面给出了AdaBoost算法的两个样例。附有详细计算过程。1、提升方法（来源于统计学习方法） 提升方法是一种经常使用的统计学习方法，应用十分广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行 ...
分类：
编程语言 时间：
2017-06-01 19:35:25
阅读次数：
257
