前面我们学习过深度学习中用于加速网络训练、提升网络泛化能力的两种策略：Batch Normalization（Batch Normalization）和Layer Normalization（LN）。今天讨论另一种与它们类似的策略：Weight Normalization（Weight Normal ...
分类：
其他好文 时间：
2019-08-19 09:21:25
阅读次数：
139
1、支撑向量机SVM是一种非常重要和广泛的机器学习算法，它的算法出发点是尽可能找到最优的决策边界，使得模型的泛化能力尽可能地好，因此SVM对未来数据的预测也是更加准确的。 2、SVM既可以解决分类问题，又可以解决回归问题，原理整体相似，不过也稍有不同。 在sklearn章调用SVM算法的代码实现如下 ...
分类：
编程语言 时间：
2019-08-17 15:05:06
阅读次数：
140
//2019.08.17 #支撑向量机SVM(Support Vector Machine)1、支撑向量机SVM是一种非常重要和广泛的机器学习算法，它的算法出发点是尽可能找到最优的决策边界，使得模型的泛化能力尽可能地好，因此SVM对未来数据的预测也是更加准确的。 2、支撑向量机SVM有两种：Hard ...
分类：
其他好文 时间：
2019-08-17 14:23:06
阅读次数：
84
决策树在长成的过程中极易容易出现过拟合的情况，导致泛化能力低。主要有两种手段可以用于防止过拟合。## 提前停止Early Stopping，在完全长成以前停止，以防止过拟合。主要有以下3种方式：1. 限制树的高度，可以利用交叉验证选择2. 利用分类指标，如果下一次切分没有降低误差，则停止切分3. 限... ...
分类：
其他好文 时间：
2019-08-06 14:12:33
阅读次数：
802
作用：正则化是一种有效的防止过拟合、提高模型泛化能力方法，在机器学习和深度学习算法 中应用非常广泛，在早期的机器学习领域一般只是将范数惩罚叫做正则 化技术，而在深度学习领域认为：能够显著减少方差，而不过度增加偏差的策略都可以认为 是正则化技术，故此推广的正则化技术还有：扩增样本集、早停止、Dropo ...
分类：
其他好文 时间：
2019-07-25 21:48:17
阅读次数：
113
在读了FM和FNN/PNN的论文后，来学习一下16年的一篇Google的论文，文章将传统的LR和DNN组合构成一个wide&deep模型（并行结构），既保留了LR的拟合能力，又具有DNN的泛化能力，并且不需要单独训练模型，可以方便模型的迭代，一起来看下吧。 更好的阅读体验请点击这里。 原文：Wide ...
分类：
其他好文 时间：
2019-07-24 13:01:08
阅读次数：
91
性能度量是衡量模型泛化能力的评价标准，模型的好坏是相对的，模型的好坏不仅取决于算法和数据，还决定于任务的需求。 回归任务中常用的性能度量是：均方误差（越小越好），解释方差分（越接近1越好）。 分类任务中常用的性能度量： 1）错误率：分类错误的样本数占样本总数的比例。 2）精度：分类正确的样本数占样本 ...
分类：
其他好文 时间：
2019-07-07 11:10:32
阅读次数：
203
衡量模型泛化能力的评价标准，就是性能度量（performance measure）。 （1）错误率与精度 （2）查准率、查全率与F1 基于样例真实类别，可将学习器预测类别的组合划分为真正例（true positive）、假正例（false positive）、真反例（true negative）、假 ...
分类：
其他好文 时间：
2019-06-16 23:13:32
阅读次数：
200
1. 为什么需要数据增强？ （1）数据增强是扩充数据样本规模的一种有效的方法，深度学习是一种基于大数据的方法，数据的规模越大、质量越高就越好，模型也能够拥有更好的泛化能力。然而在实际采集数据的时候，往往很难覆盖全部的场景，比如光照条件，那么在训练模型的时候，就需要加入光照方面的数据增强； （2）即使 ...
分类：
其他好文 时间：
2019-06-07 21:11:34
阅读次数：
176
交叉验证的思想 交叉验证主要用于防止模型过于复杂而引起的过拟合，是一种评价训练数据的数据集泛化能力的统计方法。其基本思想是将原始数据进行划分，分成训练集和测试集，训练集用来对模型进行训练，测试集用来测试训练得到的模型，以此来作为模型的评价指标。 简单的交叉验证 将原始数据D按比例划分，比如7：3，从 ...
分类：
其他好文 时间：
2019-06-01 21:07:15
阅读次数：
199
