url: https://arxiv.org/abs/1812.01187 year: 2018 文中介绍了训练网络的一些 tricks, 通过组合训练过程的trick，来提高模型性能和泛化能力，以及迁移学习的性能。总的来说，这篇文章是一篇实用性极强的文章，也是需要亲自调试才能明白其好处的文章。 b ...
分类：
Web程序 时间：
2019-05-11 17:43:57
阅读次数：
279
迁移学习近年来在图形领域中得到了快速的发展，主要在于某些特定的领域不具备足够的数据，不能让深度模型学习的很好，需要从其它领域训练好的模型迁移过来，再使用该模型进行微调，使得该模型能很好地拟合少量数据的同时又具备较好的泛化能力（不过拟合）。 在迁移学习任务中，需要事先定义一组源数据集合，使用该集合训练 ...
分类：
编程语言 时间：
2019-04-15 20:25:58
阅读次数：
291
深度学习模型中的Normalization，数据经过归一化和标准化后可以加快梯度下降的求解速度，这就是Batch Normalization等技术非常流行的原因，Batch Normalization使得可以使用更大的学习率更稳定地进行梯度传播，甚至增加网络的泛化能力。 ...
分类：
其他好文 时间：
2019-03-23 22:19:53
阅读次数：
1164
Evernote Export 支持向量机(Support Vector Machine) 不适定问题不止一个决策边界 要找一个决策边界，不仅能将训练集很好的划分，而且提升模型的泛化能力 支持向量机直接将算法放在运行的内部，在不适定的问题中，使用svm去建模是好的 svm是统计学习中非常重要的方法 ...
分类：
其他好文 时间：
2019-01-14 18:01:40
阅读次数：
303
正则化方法：防止过拟合，提高泛化能力 避免过拟合的方法有很多：Early stopping、数据集扩增（Data augmentation）、正则化（Regularization）包括L1、L2（L2 regularization也叫weight decay），dropout。 L2 regular ...
分类：
其他好文 时间：
2018-12-23 16:52:23
阅读次数：
133
什么是评估机器学习模型 机器学习的目的是得到可以泛化（generalize）的模型，即在前所未见的数据上表现很好的模型，而过拟合则是核心难点。你只能控制可以观察的事情，所以能够可靠地衡量模型的泛化能力非常重要。 如何衡量泛化能力，即如何评估机器学习模型。 评估模型的重点是将数据划分为三个集合：训练集 ...
分类：
其他好文 时间：
2018-12-13 01:19:21
阅读次数：
398
XGBoost其实是由一群训练出来的CART回归树集成出来的模型。 目标 目标其实就是训练一群回归树，使这树群的预测值尽量接近真实值，并且有尽可能强大的泛化能力。来看看我们的优化函数： 优化函数 i表示的是第i个样本，前一项是表示的是预测误差。后一项表示的是树的复杂度的函数，值越小表示复杂度越低，泛 ...
分类：
其他好文 时间：
2018-12-12 23:54:46
阅读次数：
351
# 机器学习之ROC曲线 roc曲线全称受试者工作曲线，ROC曲线下面积就是AUC（Area under the curve），AUC用来衡量二分类机器学习算法的性能，即泛化能力
这里有几个概念，真阳性率，假阳性率，真阴性率，假阴性率，这四个率的产生是一个相对指标，即有一个参考标准，比如一个检测方法... ...
分类：
其他好文 时间：
2018-10-16 01:45:57
阅读次数：
180
https://blog.csdn.net/lujiandong1/article/details/46386201 SVM模型有两个非常重要的参数C与gamma。其中 C是惩罚系数，即对误差的宽容度。c越高，说明越不能容忍出现误差,容易过拟合。C越小，容易欠拟合。C过大或过小，泛化能力变差 gam ...
分类：
其他好文 时间：
2018-08-14 21:10:26
阅读次数：
162
1.欠拟合：模型没有充分学习到数据集的特征，导致在训练集和测试集性能都很差的情况 2.解决办法： 1.增加其他特征项，可以通过“组合”、“泛化”、“相关性”等的操作来添加特征项 2.添加多项式特征，这个在机器学习算法里面用的很普遍，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强 3.减少正 ...
分类：
其他好文 时间：
2018-08-10 14:35:34
阅读次数：
691
