模型类型 参数模型 统计学中，参数模型通常假设总体服从某一个分布，该分布由一些参数确定(正太分布由均值和方差确定)，在此基础上构造的模型称为参数模型 包括 逻辑回归 线性成分分析 感知机 优点 间洁：理论容易理解和解释结果 快速：参数模型学习和训练的速度都很快 数据更少：通常不需要大量的数据，在对数 ...
分类：
其他好文 时间：
2020-01-07 13:13:50
阅读次数：
113
下面要说的基本都是《动手学深度学习》这本花书上的内容，图也采用的书上的 首先说的是训练误差(模型在训练数据集上表现出的误差)和泛化误差(模型在任意一个测试数据集样本上表现出的误差的期望) 模型选择 验证数据集(validation data set)，又叫验证集(validation set)，指用 ...
分类：
其他好文 时间：
2020-01-06 11:13:27
阅读次数：
446
一、The Problem of Overfitting 欠拟合（high bias）：模型不能很好地适应训练集； 过拟合（high variance）：模型过于强调拟合原始数据，测试时效果会比较差。 处理过拟合： 1、丢弃一些特征，包括人工丢弃和算法选择； 2、正则化：保留所有特征，但减小参数的值 ...
分类：
其他好文 时间：
2020-01-01 23:59:17
阅读次数：
167
Bagging算法： 凡解：给定M个数据集，有放回的随机抽取M个数据，假设如此抽取3组，3组数据一定是有重复的，所以先去重。去重后得到3组数据，每组数据量分别是s1,s2,s3，然后三组分别训练组合成一个强模型。如下图： 随机森林算法： 一般用于大规模数据，百万级以上的。 在Bagging算法的基础 ...
分类：
编程语言 时间：
2020-01-01 14:59:34
阅读次数：
94
先说下一般对原始数据的划分为什么分为训练集、验证集、测试集三个部分？ train data的作用是训练模型，validation data的作用是对模型的超参数进行调节，为什么不直接在test data上对参数进行调节？因为如果在test data上来调节参数，那么随着训练的进行，我们的网络实际上就 ...
分类：
其他好文 时间：
2020-01-01 09:57:53
阅读次数：
95
残差网络（Residual Networks, ResNets） 1. 什么是残差 “残差在数理统计中是指实际观察值与估计值（拟合值）之间的差。”“如果回归模型正确的话， 我们可以将残差看作误差的观测值。” 更准确地，假设我们想要找一个 xx，使得 f(x)=bf(x)=b，给定一个 xx 的估计值 ...
分类：
Web程序 时间：
2019-12-21 22:22:31
阅读次数：
279
过拟合问题 导致结果不正确。 解决办法 使$\theta$的取值尽量小，已达到曲线平滑。 但当$\theta$取值过小会导致 欠拟合 改变代价函数 线性回归： $$J(\theta)=\frac{1}{2m}(\sum_{i=1}^{m}({h_\theta(x^i) y(x^i)})^2+\lam ...
分类：
其他好文 时间：
2019-12-10 22:13:33
阅读次数：
106
使用小批量数据时，模型容易过拟合，所以需要对全量数据进行处理，我是用的是word2vec训练的词向量. 那么训练好对词向量如何加载呢？ ...
分类：
其他好文 时间：
2019-12-05 13:37:43
阅读次数：
171
上一节中，我们采用了一个自定义的网络结构，从头开始训练猫狗大战分类器，最终在使用图像增强的方式下得到了82%的验证准确率。但是，想要将深度学习应用于小型图像数据集，通常不会贸然采用复杂网络并且从头开始训练（training from scratch），因为训练代价高，且很难避免过拟合问题。相对的，通 ...
分类：
其他好文 时间：
2019-12-04 01:23:32
阅读次数：
194
模型泛化优化之 L1 L2 正则化. 涉及正则化认识, 梯度方向来理解, 交叉校验调参, L1 L2比较等 ...
分类：
其他好文 时间：
2019-12-03 01:28:41
阅读次数：
132
