数据集为玻森命名实体数据。 目前代码流程跑通了，后续再进行优化。 项目地址：https://github.com/cyandn/practice/tree/master/NER 步骤： 数据预处理： 加载数据： 构建模型： 训练： 预测： 参考： https://zhuanlan.zhihu.com ...
分类：
其他好文 时间：
2019-06-24 09:15:34
阅读次数：
126
pandas常用操作 data["name1"] 选择data中名字为: name1中的一列 # 数据预处理 data.dropna(axis=0) # 取出掉缺失值 按行 from sklearn.model_selection import train_test_split # Specify ...
分类：
其他好文 时间：
2019-06-23 21:01:14
阅读次数：
132
1.数据预处理 二值化 2.数据预处理 Onehot处理离散数据 ...
分类：
其他好文 时间：
2019-06-16 20:13:18
阅读次数：
126
import cv2 as cvimport tensorflow as tfimport numpy as npimport random##以下为数据预处理，分类为cata，总共样本为cata*num_batch，总共图像为cata*num_imgcata=2 #需要分的类别num_img=49 ...
分类：
其他好文 时间：
2019-06-06 19:38:29
阅读次数：
137
大数 据 主要 具有 四方 面的 典型 特征—— 规模 性（ Volume）、 多样性（ Variety）、 高速 性（ Velocity） 和 价值 性（ Value）， 即 所谓 的" 4V"。 大数据时代的关键技术：（1） 大数 据 采集 技术（2） 大 数据 预处理 技术（3） 大数 据 存... ...
分类：
其他好文 时间：
2019-05-03 18:46:39
阅读次数：
288
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。在这里还是要推荐下我自己建的大数据学习交流群:529867072，群里都是学大数据开发的，如果你正在学习大数据，小
分类：
其他好文 时间：
2019-05-01 11:57:36
阅读次数：
141
对于原始数据分布倾斜 利用统计或数学变换来减轻数据分布倾斜的影响。使原本密集的区间的值尽可能的分散， 原本分散的区间的值尽量的聚合。 Log变换通常用来创建单调的数据变换。它的主要作用在于帮助稳定方差，始终保持分布 接近于正态分布并使得数据与分布的平均值无关。 y=logc(1+λx) λ通常设置为 ...
分类：
其他好文 时间：
2019-04-29 12:58:32
阅读次数：
164
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。 一、数据采集 ...
分类：
其他好文 时间：
2019-04-23 15:39:37
阅读次数：
163
1.数据质量分析 数据质量分析是数据挖掘中数据准备过程的重要一环，是数据预处理的前提，也是数据挖掘分析结论有效性和准确性的基础，没有可信的数据，数据挖掘构建的模型将是空中楼阁。 数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般是指不符合要求，以及不能直接进行相应分析的数据。在常见的数 ...
分类：
其他好文 时间：
2019-04-20 21:39:38
阅读次数：
199
脑图像的数据预处理2 作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 在脑图像的数据预处理中已经介绍了一些内容，这篇文章是对前一篇文章的补充与完善。更多内容请看脑图像。数据来源：BrainWeb: Simulated Brain Database 1. ...
分类：
其他好文 时间：
2019-04-20 16:59:55
阅读次数：
193
