大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。在这里还是要推荐下我自己建的大数据学习交流群:529867072，群里都是学大数据开发的，如果你正在学习大数据，小
分类：
其他好文 时间：
2019-05-01 11:57:36
阅读次数：
141
大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。 一、数据采集 ...
分类：
其他好文 时间：
2019-04-23 15:39:37
阅读次数：
163
PowerQuery实现数据清洗实战：转置表的综合应用
分类：
其他好文 时间：
2019-04-18 10:44:57
阅读次数：
311
给定一个字符串，验证它是否是回文串，只考虑字母和数字字符，可以忽略字母的大小写。 代码： 思路，这里涉及到了数据清洗，我只要字母和数字，并且字母必须是小写。使用 string,isalnum()可以滤出字母和数字，使用 string.lower()可以滤出小写字母。然后再转换成 list 反转对比即 ...
分类：
其他好文 时间：
2019-04-08 18:48:14
阅读次数：
163
茄子快传数据分析之原理分析及数据清洗 茄子快传数据分析之原理分析及数据清洗 茄子快传数据分析之原理分析及数据清洗 茄子快传数据分析之原理分析及数据清洗 版权声明：闻道有先后，术业有专攻。 https://blog.csdn.net/wlk_328909605/article/details/8222 ...
分类：
其他好文 时间：
2019-04-05 21:28:17
阅读次数：
261
BIML 101 - BIML 快速入门教程 做大数据的项目，最花时间的就是数据清洗。 没有一个相对可靠的数据，数据分析就是无木之舟，无水之源。 如果你已经进了ETL这个坑，而且预算有限，并且有大量的活要做； 时间紧，任务多，是不是有点菊花一紧的感觉。 多少次，你对着几个月前自己写的代码在挠头， 多 ...
分类：
其他好文 时间：
2019-04-04 09:38:57
阅读次数：
140
参考：http://blog.sina.com.cn/s/blog_13050351e0102xfis.html https://www.sogou.com/link?url=DOb0bgH2eKh1ibpaMGjuy bS_O7xQYLPIOogrOFmc02ueKW9M67CaVLpMY1k7w ...
分类：
编程语言 时间：
2019-04-03 16:40:21
阅读次数：
231
原数据格式： 转换的目标格式： 利用pandas包对excel表中的内容进行读取: pd.read_excel() 主要函数解读： io表格具体路径，sheetname 读取表格中的哪个Sheet，可以是整数或Sheet名称，converters 指定将读取内容转换成哪种格式 eg: convert ...
分类：
其他好文 时间：
2019-03-28 16:50:43
阅读次数：
169
数据清洗(Data Cleaning)——https://wiki.mbalib.com/wiki/%E6%95%B0%E6%8D%AE%E6%B8%85%E6%B4%97 目录 [隐藏] 目录 1 什么是数据清洗[1] 2 数据清洗原理[2] 3 数据清洗的实现方式与范围[2] 4 数据清洗的方法 ...
分类：
其他好文 时间：
2019-03-24 10:02:24
阅读次数：
244
数据清洗一是为了解决数据质量问题，二是让数据更加适合做挖掘 一、解决数据质量问题 数据的完整性，比如人的属性中缺少性别、籍贯、年龄等 数据的唯一性，比如不同来源的数据出现重复的情况 数据的权威性，比如同一个指标出现多个来源的数据，且数值不一样 数据的合法性，比如数据与常识不符，市区内开车速度到达了4 ...
分类：
其他好文 时间：
2019-03-24 09:20:44
阅读次数：
123
