P3 OpenStreetMap 项目思路整理 P3项目的核心在于数据的整理 data cleaning 数据清洗，数据来源于开源的OpenStreetMap平台，该平台上的很多数据都是开发者自行输入的，难免会造成数据的混乱和缺失，错误，也就是所说的dirty data 脏数据 human invo ...
分类：
其他好文 时间：
2017-02-03 00:31:37
阅读次数：
355
北京华盛恒辉科技有限公司，是一家北京软件开发公司，是专业的软件产品研发与销售企业，立足于数据领域，为航天、军工、铁路等大型企事业单位提供以数据为核心的平台级信息化解决方案。公司在数据采集、数据清洗、数据存储、数据计算与挖掘、大数据可视化等方面有着深入的研究。 同时，公司在高端软件定制方面，为中国航天 ...
分类：
其他好文 时间：
2016-12-24 13:35:54
阅读次数：
174
4.1 数据清洗： 删除原始数据集中的无关数据、重复数据、平滑噪声数据，筛选掉与挖掘无关的数据，处理缺失值、异常值 4.1 数据清洗： 删除原始数据集中的无关数据、重复数据、平滑噪声数据，筛选掉与挖掘无关的数据，处理缺失值、异常值 常见的插补方法：均值/中位数/众数 插补；使用固定值；最近邻插补；回 ...
分类：
其他好文 时间：
2016-12-10 19:46:51
阅读次数：
300
1.csv作为数据中介,速度最快,但是如果某个字段的内容有逗号,整个都乱套了, 还是用excel2007格式比较好. 2.导入表的字段,最好设为nvarchar,可以为空.类型转换以后再说 3.数据清洗,比如客户数据,性别,地址. 第二步：格式内容清洗 如果数据是由系统日志而来，那么通常在格式和内容 ...
分类：
其他好文 时间：
2016-12-09 19:23:29
阅读次数：
276
我们在数据分析之前需要进行数据处理、数据录入并把数据清洗干净，做好数据的加工和描述工作。 【参考文献】《数据分析：企业的贤内助》 陈哲 著 ...
分类：
其他好文 时间：
2016-12-05 09:32:02
阅读次数：
274
爬虫爬下来的数据，有个字段含有大量脏数据，如图1所示，现在需要提取出“红色框”中的“作者机构名称”。 一开始用的excel，替换、分类、按照模式的快速填充各种都用上了，但是，数据量太大了（有上万条，辛苦机器性能还行）而且你懂得，人工操作肯定有误操作而且分列啥的这些功能适应新不怎么强，结果，弄了小半天 ...
分类：
其他好文 时间：
2016-11-28 00:43:26
阅读次数：
136
Oozie 任务调度框架(基于工作流) 任务调度框架 Oozie三大功能 Oozie的架构 Oozie安装部署 ...
分类：
其他好文 时间：
2016-11-24 15:22:39
阅读次数：
282
新系统上线后，需要导入历史数据，但是旧数据格式，数据缺失，数据错误，奇异值，属性归类与新系统有很大的gap。因此我们需要建立一套数据动态清洗规则给Salesforce系统，通过这些规则自动清洗导入数据，清洗规则可以让function自己配置。而不需要IT负责 下面将详细举一个例子如何在salesfo ...
分类：
其他好文 时间：
2016-11-19 20:29:18
阅读次数：
266
1.分析过程： -》需求分析 -》数据清洗：源表 -》格式化 -》过滤字段 -》use表 -》数据分析 -》数据导出 2.日志（第一条） 3.Apache官网的关于日志的加载的案例 4.自定义实现北风的日志加载 ...
分类：
其他好文 时间：
2016-11-17 00:28:39
阅读次数：
176
目录 1. stringr介绍 stringr包被定义为一致的、简单易用的字符串工具集。所有的函数和参数定义都具有一致性，比如，用相同的方法进行NA处理和0长度的向量处理。 字符串处理虽然不是R语言中最主要的功能，却也是必不可少的，数据清洗、可视化等的操作都会用到。对于R语言本身的base包提供的字 ...
分类：
其他好文 时间：
2016-11-14 20:05:54
阅读次数：
380
