模型泛化 [TOC] 泛化即是，机器学习模型学习到的概念在它处于学习的过程中时模型没有遇见过的样本时候的表现。 ? 类似于考试前疯狂刷题不管这些题做的都好都没用，只有在下次考试中才有效果，而下次考试的那些题可能从来没见过，只有学会这些基础的东西，无论怎么变都能认出来。模型也是一样，不管训练集上表现如 ...
分类：
其他好文 时间：
2019-08-13 00:31:55
阅读次数：
182
背景 魔镜是数据产品研发部基于大数据平台开发的一套可视化数据智能平台。传统机器学习建模流程对非数据科学专业人员来说，整体门槛较高，其中主要体现在几个方面： 1. 机器学习概念较为抽象 比如训练集、验证集、测试集、特征、维度、标签泄露、欠拟合、过拟合、学习曲线、验证曲线、ROC曲线、混淆矩阵等等，除了 ...
分类：
其他好文 时间：
2019-08-04 10:45:51
阅读次数：
164
1 训练集和验证集 训练集（train)：就是用来训练神经网络参数的，说准确点，一般是用来梯度下降的。 验证集（validation）：基本是在每个epoch完成后，用来测试一下当前模型的准确率。 2 为什么还需要测试集？ 验证集不参与训练，跟训练集也没有交集，这个准确率是可靠的，那么为啥还需要一个 ...
分类：
其他好文 时间：
2019-07-31 13:05:41
阅读次数：
825
Q1过拟合的问题 训练集表现良好，测试集表现差。鲁棒性差。以下是两个例子（一个是回归问题，一个是分类问题） 第一个图明显欠拟合，第三个图过度拟合，拟合函数复杂，虽然对于训练集具有很低的代价函数，但是应用到新样本的能力并不高，图二则是两者的均衡。 解决办法： （1）丢弃一些不能帮助我们正确预测的特征。 ...
分类：
其他好文 时间：
2019-07-28 19:48:04
阅读次数：
108
前言 对Google开源出来的bert代码，来阅读下。不纠结于代码组织形式，而只是梳理下其训练集的生成，训练的self-attention和multi-head的具体实现。 训练集的生成 主要实现在create_pretraining_data.py和tokenization.py两个脚本里。输入文 ...
分类：
其他好文 时间：
2019-07-26 16:04:22
阅读次数：
86
一.smote相关理论 (1). SMOTE是一种对普通过采样(oversampling)的一个改良。普通的过采样会使得训练集中有很多重复的样本。 SMOTE的全称是Synthetic Minority Over-Sampling Technique，译为“人工少数类过采样法”。 SMOTE没有直接 ...
分类：
其他好文 时间：
2019-07-24 22:56:11
阅读次数：
243
预训练 先在某个任务（训练集A或者B）进行预先训练，即先在这个任务（训练集A或者B）学习网络参数，然后存起来以备后用。当我们在面临第三个任务时，网络可以采取相同的结构，在较浅的几层，网络参数可以直接加载训练集A或者B训练好的参数，其他高层仍然随机初始化。底层参数有两种方式： frozen ，即预训练 ...
分类：
其他好文 时间：
2019-07-20 23:21:29
阅读次数：
202
降维与度量学习 K近邻学习 K近邻学习（k-Nearest Neighbor）学习是一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个"邻居"的信息来进行预测。通常，在分类任务中可使用"投票法"，即选择这k个样本中出现最多的... ...
分类：
其他好文 时间：
2019-07-11 20:09:24
阅读次数：
99
1.随机森林（RF） RF是对bagging的进化版，首先都是有放回的进行采样，获得n个训练集从而训练n个弱分类器，但是RF在随机选取的训练集的基础上对于特征的选择也是随机的，随机的选取一部分的特征进行弱分类器的构建，同时在划分建树的过程中也是从这些随机选取的部分特征中选择最优的特征。(使用的为同质 ...
分类：
其他好文 时间：
2019-06-26 20:43:34
阅读次数：
171
batchsize ：中文翻译为批大小（批尺寸）。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练； iteration ：中文翻译为迭代，1个iteration等于使用batchsize个样本训练一次；一个迭代 = 一个正向通过+一个反向通过 epoch ：迭代 ...
分类：
其他好文 时间：
2019-06-16 13:38:05
阅读次数：
88
