''' 数据的清洗 1.检测与处理重复值 2.检测与处理缺失值 3.检测与处理异常值 ''' import numpy as np import pandas as pd # 去重:按照A列去重，同时保留第一个数据且在原表去重 data = pd.DataFrame({'A': [1, 1, 2, ... ...
分类：
其他好文 时间：
2019-08-02 09:21:55
阅读次数：
101
df.duplicated( ).any( ) #判断数据集中是否有重复值df.drop_duplicates( inplace=True ) df.duplicated().any() # 判断数据集中是否有重复值 df.drop_duplicates(inplace=True) #删除重复值，i... ...
分类：
其他好文 时间：
2019-07-20 23:03:51
阅读次数：
83
机器学习主要由监督学习、无监督学习。 监督学习主要用于解决分类和回归问题。 无监督学习主要用于解决聚类问题。 在机器学习过程中主要有以下几个步骤： 数据预处理 特征工程 数据建模 结果评估 首先介绍数据预处理，主要包括数据清洗、数据采样以及数据集的拆分三个部分。 在数据清洗过程中主要对各种脏数据进行 ...
分类：
其他好文 时间：
2019-07-05 00:38:17
阅读次数：
170
1.DWI DWI：数据湖、数据砥柱，一般存放在HDFS 数据仓库的基础数据来源，各种杂七杂八的数据 关键点：数据清洗、数据整合、异常处理、增量获取 ETL：E-数据抽取、数据清洁、格式转换，T-生成代理键ID、遵循三范式，L-数据加载 2.DWR DWR：数据仓库的中间层，星型结构 根据业务划分： ...
分类：
其他好文 时间：
2019-07-03 00:28:13
阅读次数：
481
获取到数据之后，首先对用户location做可视化 第一步 做数据清洗，把里面的数据中文符号全部转为为空格 第二步 数据做词云，需要过滤停用词，然后分词 输入结果 这样输出的原因是后面需要用pyechart做数据的词云 第三步 词云可视化 二 用户地址可视化 用户所在地成都热点图 程序脚本：这里需要 ...
分类：
其他好文 时间：
2019-06-19 15:12:29
阅读次数：
122
这是简易数据分析系列的第 1 篇文章。 前文说到，我会做一个数据分析的系列教程，面向纯小白，不写代码不写公式，搞定数据分析的第一步。教程的内容主要会从三个方向上进行延伸：数据采集，数据清洗和数据可视化。 今天我们就开始我们的数据采集之路。 数据采集听着高大上，其实对于普通人来说，就是 自动化版的复制 ...
分类：
其他好文 时间：
2019-06-18 23:00:13
阅读次数：
287
1、知识点 2、中文数据清洗(使用停用词) 3、英文数据清洗(使用停用词) 4、stopwords_english.txt ...
分类：
编程语言 时间：
2019-06-13 22:01:53
阅读次数：
614
沙漠君在闭关4个月后，终于把开源数据神器Hawk（详细介绍在这里）的文档和教学视频基本录制完毕， 并同步更新在有爱无广告二次元的B站！ 教程总时间超过3个小时，覆盖了网页采集器，数据清洗，文件读写等方方面面。内容蜜汁丰富，有原理，有如何填坑的tip，更有完整的操作步骤，让你一看就能明白。 教程更是增 ...
分类：
其他好文 时间：
2019-06-07 23:09:22
阅读次数：
117
1.清洗数据中的全空行 2.清洗user列中的空值的行 3.统计上行流量列以及下行流量列的当天每人每终端服务app的总量。 4.统计每人每天终端服务app的次数。 1.用正则表达以及loc清洗tm_type列的数据,做以下更改 系统移动终端=mobile（） pc=pc（） 多终端=多终端（） 未知 ...
分类：
其他好文 时间：
2019-06-01 19:40:33
阅读次数：
97
一、Pandas概要介绍 pandas是一个开源的，BSD许可的库，为Python编程语言提供高性能，易于使用的数据结构和数据分析工具。可以用于对CSV和文本文件、Microsoft Excel、SQL数据库数据的读写。 能够帮助数据清洗，数据分析和数据建模。 二、主要的两种数据结构 序列(Seri ...
分类：
其他好文 时间：
2019-05-25 19:51:16
阅读次数：
122
