过拟合现象，即模型的训练误差远?于它在测试集上的误差。虽然增?训练数据集可能会减轻过拟合，但是获取额外的训练数据往往代价?昂。本节介绍应对过拟合问题的常??法：权重衰减（weight decay）。 一、方法 权重衰减等价于 范数正则化（regularization）。正则化通过为模型损失函数添加惩 ...
分类：
其他好文 时间：
2020-02-28 01:35:13
阅读次数：
69
一、概述 1.概念：K近邻（k-Nearest Neighbor， 简称KNN）算法是一种非常简单的机器学习监督算法。 2.主要思想：即时给定一个训练数据集，对于新的数据样本，在训练集中找到与该样本最邻近的k个样本，统计这k个样本的多数所属类，就把这个样本归结到这个所属类中。 3.根据维基百科的图解 ...
分类：
编程语言 时间：
2020-02-23 14:42:46
阅读次数：
66
模型过拟合欠拟合 训练误差和泛化误差 训练误差 指模型在训练数据集上表现出的误差 泛化误差 指模型在任意?个测试数据样本上表现出的误差的期望 我们的注意力应集中于降低泛化误差，使模型具有更好的普适性。 模型选择 验证数据集 （validation set） 预留?部分在训练数据集和测试数据集以外的数 ...
分类：
其他好文 时间：
2020-02-19 21:02:57
阅读次数：
72
课程引用自伯禹平台：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV 《动手学深度学习》官方网址：http://zh.gluon.ai/ ——面向中文读者的能运行、可讨论的深度学习教科书。 第二次打卡： Task03: 过拟合、欠拟合及其解决 ...
分类：
编程语言 时间：
2020-02-19 20:47:13
阅读次数：
105
liner classifiers 1.logistic 逻辑回归其实是一个分类算法而不是回归算法。通常是利用已知的自变量来预测一个离散型因变量的值（像二进制值0/1，是/否，真/假）。简单来说，它就是通过拟合一个逻辑函数（logit fuction）来预测一个事件发生的概率。所以它预测的是一个概率 ...
分类：
其他好文 时间：
2020-02-17 13:55:40
阅读次数：
73
正向传播 正向传播的计算图 通常绘制计算图来可视化运算符和变量在计算中的依赖关系。下图绘制了本节中样例模型正向传播的计算图，其中左下角是输入，右上角是输出。可以看到，图中箭头方向大多是向右和向上，其中方框代表变量，圆圈代表运算符，箭头表示从输入到输出之间的依赖关系。 反向传播 训练深度学习模型 在训 ...
分类：
其他好文 时间：
2020-02-15 15:34:33
阅读次数：
79
训练误差和泛化误差 需要区分训练误差（training error）和泛化误差（generalization error）。前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函 ...
分类：
其他好文 时间：
2020-02-15 13:40:33
阅读次数：
65
过拟合、欠拟合及其解决方案 1. 过拟合、欠拟合的概念 2. 权重衰减（通过l2正则化惩罚权重比较大的项） 3. 丢弃法(drop out) 4. 实验 1.过拟合、欠拟合的概念 1.1训练误差和泛化误差 前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并 ...
分类：
其他好文 时间：
2020-02-15 11:52:09
阅读次数：
109
摘要： Dropout正则化是最简单的神经网络正则化方法。阅读完本文，你就学会了在Keras框架中，如何将深度学习神经网络Dropout正则化添加到深度学习神经网络模型里。 Dropout正则化是最简单的神经网络正则化方法。其原理非常简单粗暴：任意丢弃神经网络层中的输入，该层可以是数据样本中的输入变 ...
分类：
其他好文 时间：
2020-02-15 11:48:38
阅读次数：
119
@[toc] 1.GradientBoostingClassifier loss :给定损失函数，可选对数似然函数deviance和指数损失函数exponential；默认为deviance；不建议修改。 n_estimators ：最大迭代次数，值过小可能会导致欠拟合，值过大可能会导致过拟合，一般 ...
分类：
其他好文 时间：
2020-02-08 23:17:16
阅读次数：
133
