模型估计与模型选择 模型估计 当损失函数给定时，基于损失函数的模型的训练误差和模型的测试误差就成为了学习方法评估的标准。测试误误差反映了学习方法对未知的测试数据集的预测能力，又被称为泛化能力。 过拟合：一味的追求提高训练数据的预测能力，所选模型的复杂度则往往会比真模型更高，但会造成过拟合。为了防止过 ...
分类：
其他好文 时间：
2020-05-23 09:56:42
阅读次数：
46
本文主要介绍深度学习项目实践过程中可能遇到的一些组件及使用技巧！一、Optimizor优化器选择 二、激活函数选择 三、防止过拟合 四、防止梯度消失/爆炸 五、权值初始化 六、数据预处理 七、学习率 learning rate 八、批次大小 batch_size 九、损失函数 Loss 十、其他 ...
分类：
其他好文 时间：
2020-05-18 18:42:12
阅读次数：
72
主要内容： 线性回归 定义与问题引入 损失函数 梯度下降 过拟合与正则化 逻辑回归 定义与问题引入 损失函数 梯度下降与正则化 线性回归 有监督学习= 学习样本为D={(x~i~,y~i~)}^N^~i=1~ 多变量情形： 损失函数 loss function： 梯度下降： 其中α为步长，很大 震荡 ...
分类：
其他好文 时间：
2020-05-17 17:27:48
阅读次数：
73
降低模型的过拟合的好方法就是 正则化 这个模型（即限制它）：模型有越少的自由度，就越难拟合数据。例如，正则化一个多项式模型，一个简单的方法就是减少多项式的阶数。 对于线性模型，正则化的典型实现就是约束模型中参数的权重。这里介绍三种不同约束权重的方法：Ridge回归，Lasso回归和Elastic N ...
分类：
其他好文 时间：
2020-05-16 00:09:41
阅读次数：
94
交叉验证 交叉验证可以用来估计一个模型的泛化能力，如果一个模型在训练集上表现良好，通过交叉验证指标却得出其泛化能力很差，那么模型就是 过拟合 了；如果这两个方面表现的都不好，那么它就是 欠拟合 了，这个方法可以告诉我们，模型是太复杂还是太简单了 观察学习曲线 另一种方法就是观察学习曲线，画出模型在训 ...
分类：
其他好文 时间：
2020-05-15 00:06:46
阅读次数：
69
百度大数据实习生：（百度科技园一号楼） 2018-3-31 笔试： 1.双指针的题 2.找出字符串中第一个出现两次的字母 3.通过前中序求二叉树 4.快速排序，堆排序 5.数据库的左右连接 面试： 1.MapReduce分几步，shuffle原理 2.hive 的知识 3.数据库，数据仓库 4.代码 ...
分类：
其他好文 时间：
2020-05-14 01:50:12
阅读次数：
77
em，是一种含有隐含变量的概率模型参数的极大似然估计法。主要应用在机器学习以及计算机视觉的数据聚类领域。 lr，逻辑回归，本质也是线性回归，通过拟合拟合样本的某个曲线，然后使用逻辑函数进行区间缩放，但是一般用来分类，主要用在点击率预估、推荐系统等； svm，支撑向量机，通过找到样本空间中的一个超平面 ...
分类：
编程语言 时间：
2020-05-13 19:44:45
阅读次数：
114
逻辑回归、正则化、感知机 正则化 为避免过拟合，增强模型的泛化能力，可以使用正则化的方法。 1. Lasso回归 L1正则化 $$ J(\theta)=\frac{1}{2n}(\mathtt X\theta Y)^T(\mathtt X\theta Y)+\alpha\lVert \theta\r ...
分类：
其他好文 时间：
2020-05-13 16:36:28
阅读次数：
60
交叉验证 当我们构建分类器时，有可能会存在过拟合现象。如何利用有限的数据降低模型的过拟合？——交叉验证 我们把每个数据集分成两个子集 一个用于构建分类器（模型），称为训练集（training set） 另一个用于评估分类器，称为测试集（test set） 根据训练集和测试集的挑选方法，一般可分为简单 ...
分类：
其他好文 时间：
2020-05-07 17:03:08
阅读次数：
159
随机森林（RandomForest） 简介： 在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定。 Leo Breiman和Adele Cutler发展出推论出随机森林的算法。 而 “Random Forests” 是他们的商标。 这个术语是1995 ...
分类：
其他好文 时间：
2020-05-05 20:23:35
阅读次数：
489
