其他问题 1. 模型选择、欠拟合和过拟合 1.1 训练误差和泛化误差 1.2 模型选择 1.2.1 验证数据集 1.2.2 $K$ 折交叉验证 由于验证数据集不参与模型训练，当训练数据不够用时，预留大量的验证数据显得太奢侈。一种改善的方法是$K$折交叉验证（$K$ fold cross valida ...
分类：
其他好文 时间：
2020-02-06 23:24:59
阅读次数：
101
全局就是针对常用的平均池化而言，平均池化会有它的filter size，比如 2 * 2，全局平均池化就没有size，它针对的是整张feature map. 把一整张特征图取平均得到一个值， 全连接的目的，因为传统的网络我们的输出都是分类，也就是几个类别的概率甚至就是一个数--类别号，那么全连接层就 ...
分类：
其他好文 时间：
2020-02-06 14:44:10
阅读次数：
92
1. Data Augmentation：对数据进行增强，即对已有的数据进行翻转、平移或旋转等，得到更多的数据，避免过拟合，使得神经网络具有更好的泛化效果 ①基本的操作： 随机组合： （1）翻转 （2）旋转 （3）拉伸 （4）剪切 （5）镜头扭曲 ②更复杂的操作： （1）应用PCA （2）色彩偏移 ...
分类：
其他好文 时间：
2020-02-05 23:04:50
阅读次数：
68
Dropout是过去几年非常流行的正则化技术，可有效防止过拟合的发生。但从深度学习的发展趋势看，Batch Normalizaton(简称BN)正在逐步取代Dropout技术，特别是在卷积层。本文将首先引入Dropout的原理和实现，然后观察现代深度模型Dropout的使用情况，并与BN进行实验比对 ...
分类：
其他好文 时间：
2020-02-04 10:41:27
阅读次数：
91
2020年应该思考的问题 1、基础问题 为什么使用U-net网络？好处是什么？与FCN网络相比，有什么不同？ 项目中为什么使用空洞卷积？好处是？ 训练中出现过拟合现象的原因？解决的方法？ 分类相关框架：VGGNet的卷积核尺寸是多少？max pooling使用的尺寸？为什么使用3×33×3的尺寸？ ...
分类：
其他好文 时间：
2020-01-29 18:22:17
阅读次数：
207
1. k 近邻算法k近邻法（k-nearest neighbor， k-NN） 是一种基本分类与回归方法。 k近邻法的输入为实例的特征向量， 对应于特征空间的点； 输出为实例的类别， 可以取多类。 k近邻法假设给定一个训练数据集， 其中的实例类别已定。 分类时， 对新的实例， 根据其k个最近邻的训练 ...
分类：
其他好文 时间：
2020-01-28 10:56:49
阅读次数：
71
[TOC] 所谓正则化是在代价函数的基础上进行的 为了使costfunction尽快的取得最小值 当参数过多时，会存在过拟合现象，假如我们在损失函数中加入一项作为惩罚，如加入$1000 \theta_{3}^{2}$，当参数$\theta_{3}$过大时，会使得损失函数变大，而我们的目标是损失函数最 ...
分类：
其他好文 时间：
2020-01-26 20:47:24
阅读次数：
70
1.过拟合 然能完美的拟合模型，但是拟合出来的模型会含有大量的参数，将会是一个含有大量参数的非常庞大的模型，因此不利于实现 1.1解决过拟合的方法 1.1.1 特征选择，通过选取特征变量来减少模型参数等 1.1.2 正则化 欠拟合 对于模型拟合的不太到位，导致误差很大。 泛化能力 一个模型用到新样本 ...
分类：
其他好文 时间：
2020-01-26 16:01:29
阅读次数：
77
基本概念 机器学习模型面临的两个主要问题是欠拟合与过拟合。 欠拟合 ，即模型具有较高的 偏差 ，说明模型没有从数据中学到什么，如下左图所示。而 过拟合 ，即模型具有较高的 方差 ，意味着模型的经验误差低而泛化误差高，对新数据的泛化能力差，如下右图所示。 通常，欠拟合是由于模型过于简单或使用数据集的特 ...
分类：
其他好文 时间：
2020-01-23 21:16:34
阅读次数：
135
概率分布（一) 参数分布 取这个名字是因为少量的参数可以控制整个概率分布。如高斯分布，我们只需要控制其期望和方差就可以得到一个特定的概率分布。 频率学家的观点：通过最优化某些准则（如似然函数）来确定参数的具体值。 贝叶斯观点：给定观察数据，先引入参数的先验分布，然后用贝叶斯定理计算对应的后验概率分布 ...
分类：
其他好文 时间：
2020-01-17 23:33:26
阅读次数：
406
