最近一段时间主要重心在Amazon电商数据分析上,这是一个偏数据分析和可视化的项目。具体来说就是先获取Amazon的商品数据,数据清洗和持久化存储后作为我们自己的数据源。分析模块和可视化模块基于数据进行一系列的操作。 显然,整个项目中最基本,也是最重要的就是前期数据的获取,本篇文章就是针对数据...
分类:
其他好文 时间:
2014-07-22 22:53:35
阅读次数:
293
简介awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,g...
分类:
系统相关 时间:
2014-07-19 00:09:23
阅读次数:
341
简介awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,g...
分类:
系统相关 时间:
2014-07-18 19:32:48
阅读次数:
398
Schlumberger.AquaChem.2011.1.0.40.v7地下水分析工具主要用于报告生成、水化学数据管理、地下水采样和数据分析等。它拥有一个可自定义并含有各种化学参数和物理的数据库,可自由模拟、绘图、计算和分析等。针对一组水质数据,可选择多种图形从不同角度来表征地下水的水文地球化学特性...
分类:
其他好文 时间:
2014-07-18 19:27:54
阅读次数:
504
不论是做数据挖掘也好,数据分析,数据可视化也罢,就是把混乱杂糅的数据理清给人看。我经常觉得,如果不能把自己身边的数据“整理清楚”,又怎敢去折腾什么大数据呢?由于一直以来的习惯,我特别热衷于对知识、文件分类整理。例如电脑桌面一定要用fences整理;一定要建立文件夹归纳chrome浏览器的书签;收藏的...
分类:
其他好文 时间:
2014-07-18 17:35:42
阅读次数:
236
从广义上看,脏数据是指没有进行过数据预处理而直接接收到的、处于原始状态的数据;
从狭义上看,是不符合研究要求,以及不能够对其直接进行相应的数据分析。
脏数据依据不同的分析目的有不同的定义,如在常见的数据挖掘工作中,脏数据是指不完整、含噪声、不一致的数据;而在问卷分析中,脏数据则是指不符合问卷要求的数据。
开发中:
脏数据是指源系统中的数据不在给定的范围内或对...
分类:
其他好文 时间:
2014-07-18 15:14:27
阅读次数:
447
每次技术变革企业包括个人都需要做出适应,现在我们处于新一轮实际革命的时代节点上,从小数据时代到大数据时代的前叶.那么企业面对大数据需要做出什么样的变革呢?又存在什么样的挑战呢?首先,决策方式的改变,传统运作管理在变成大数据管理,越来越多的传统决策在变成基于数据分析..
分类:
其他好文 时间:
2014-07-18 13:16:00
阅读次数:
171
各种各样的事例表明,细心对于某种岗位的重要新。原文来自:【数据化管理:【数据挖掘的重要性——从林彪的一个故事谈起】有时候数据分析与挖掘并不需要高深的理论和高端的分析工具,仅仅需要一颗善于发现的大脑和永远不放过细节的心!via@萧秋水】
分类:
其他好文 时间:
2014-07-14 15:00:18
阅读次数:
160
现实工作中,若养成用图形思考的习惯,能有利于我们分析处理复杂的问题,也有利于理解与沟通交流。尤其对咨询人员、数据分析人员、甚至管理者来说,借鉴意义更大。 目前,很多人在实际工作中,采用图形工具进行分析的频率还不高,尽管文字方面能够表达得非常清楚,但在演示与沟通中常常不能使对方在短时间内就领会其中的....
分类:
其他好文 时间:
2014-07-13 22:02:28
阅读次数:
398
一 概述:HttpWatch强大的网页数据分析工具.集成在Internet Explorer工具栏.包括网页摘要.Cookies管理.缓存管理.消息头发送/接受.字符查询.POST 数据和目录管理功能.报告输出 HttpWatch 是一款能够收集并显示页页深层信息的软件。它不用代理服务器或一些复杂的...
分类:
其他好文 时间:
2014-07-12 14:42:31
阅读次数:
424