1. 前言 2018年最火的论文要属google的BERT，不过今天我们不介绍BERT的模型，而是要介绍BERT中的一个小模块WordPiece。 2. WordPiece原理 现在基本性能好一些的NLP模型，例如OpenAI GPT，google的BERT，在数据预处理的时候都会有WordPiec ...
分类：
其他好文 时间：
2019-01-05 00:51:16
阅读次数：
4019
1) 数据采集：定制开发采集程序，或使用开源框架FLUME 2) 数据预处理：定制开发mapreduce程序运行于hadoop集群 3) 数据仓库技术：基于hadoop之上的Hive 4) 数据导出：基于hadoop的sqoop数据导入导出工具 5) 数据可视化：定制开发web程序或使用kettle ...
分类：
其他好文 时间：
2019-01-02 23:28:02
阅读次数：
243
我们在上一篇文章中给大家介绍数据分析工作中的数据预处理以及统计学知识，这些知识都是比较重要的，我们现在在这篇文章中给大家讲解一下数据分析最后一部分的知识，希望这篇文章能够给大家带来帮助。 ...
分类：
其他好文 时间：
2018-12-27 18:48:36
阅读次数：
138
我们在上一篇文章中简单地介绍了数据分析的知识，数据分析知识主要分为5个模块，分别是数据获取、数据存储与提取、数据预处理、数据分析、数据可视化。不同模块的内容难易也是不一样的，下面我们就开始给大家详细讲解一下数据分析其他方面的知识。 ...
分类：
其他好文 时间：
2018-12-27 18:21:59
阅读次数：
117
1. 机器学习流程简介 1）一次性设置（One time setup） - 激活函数（Activation functions） - 数据预处理（Data Preprocessing） - 权重初始化（Weight Initialization） - 正则化（Regularization：避免过拟合 ...
分类：
其他好文 时间：
2018-12-17 23:58:21
阅读次数：
589
我们在用python进行机器学习建模时，首先需要对数据进行预处理然后进行特征工程，在这些过程中，数据的格式可能会发生变化，前几天我遇到过的问题就是： 对数据进行标准化、归一化、方差过滤的时候数据都从DataFrame格式变为了array格式。 这样数据的列名就会消失，且进行特征选择之后列的数量也会发 ...
分类：
编程语言 时间：
2018-12-15 14:55:31
阅读次数：
266
问题引入 在很多机器学习任务中，特征并不总是连续值，而有可能是分类值。 例如，考虑一下的三个特征： 如果将上述特征用数字表示，效率会高很多。例如： 但是，即使转化为数字表示后，上述数据也不能直接用在我们的分类器中。这个的整数特征表示并不能在分类器中直接使用，因为这样的连续输入，估计器会认为类别之间是 ...
分类：
其他好文 时间：
2018-12-09 14:04:34
阅读次数：
162
Python是机器学习领域内的首选编程语言，它易于使用，也有很多出色的库来帮助你更快处理数据。但当我们面临大量数据时，一些问题就会显现……目前，大数据（BigData）这个术语通常用于表示包含数十万数据点的数据集。在这样的尺度上，工作进程中加入任何额外的计算都需要时刻注意保持效率。在设计机器学习系统时，数据预处理非常重要——在这里，我们必须对所有数据点使用某种操作。在默认情况下，Python程序是
分类：
编程语言 时间：
2018-12-08 23:58:40
阅读次数：
267
1. 数据准备：收集数据与读取 2. 数据预处理：处理数据 3. 训练集与测试集：将先验数据按一定比例进行拆分。 4. 提取数据特征，将文本解析为词向量 。 5. 训练模型：建立模型，用训练数据训练模型。即根据训练样本集，计算词项出现的概率P(xi|y)，后得到各类下词汇出现概率的向量 。 6. 测 ...
分类：
其他好文 时间：
2018-12-06 22:25:26
阅读次数：
257
1. 数据准备：收集数据与读取 2. 数据预处理：处理数据 3. 训练集与测试集：将先验数据按一定比例进行拆分。 4. 提取数据特征，将文本解析为词向量 。 5. 训练模型：建立模型，用训练数据训练模型。即根据训练样本集，计算词项出现的概率P(xi|y)，后得到各类下词汇出现概率的向量 。 6. 测 ...
分类：
其他好文 时间：
2018-12-06 22:18:18
阅读次数：
177
