Hadoop的核心处理模块是MapReduce，也是当前最流行的大数据处理架构之一。它能够将Hadoop数据存储无缝的融入到数据处理当中，使得它在操作上足够简单，功能上足够强大。MapReduce已经解决很多实际问题（从日志分析，到数据排序，到文本操作，到基于模式的搜索，到图像处理，到机器学习等等）...
分类：
其他好文 时间：
2014-05-27 00:14:28
阅读次数：
449
大数据_大数据时代_大数据概念_网络大数据随着大数据时代的来临，大数据也吸引了越来越多的关注。网络大数据（http://www.raincent.com）整合了大数据，大数据概念，大数据处理，大数据分析，cdn，cdn加速，idc，网络测量,网络监测，网络安全测量，网站性能监测，行业分析报告，行业研...
分类：
其他好文 时间：
2014-05-26 22:02:55
阅读次数：
338
因为需要统计hbase中某个特定列不为空的行数，我寻思有没有支持直接用SQL查询的，查找了下，发现有两个可以支持：一个是apache
phoenix，一个是Cloudera的Impala。如果用Impala，需要使用Cloudera的hadoop发行版。
分类：
数据库 时间：
2014-05-26 22:02:35
阅读次数：
322
第一步，優化字段 原始數據導入數據時，對所有字段進行優化，儘可能地爲每個字段選用最小的字段類型
字符型字段，一般導入時默認會是nvarchar型，改爲varchar型節省一半空間。
數值型字段，如果是整數，如果最大可能數小於255，改爲tinyiny，如果最大可能數小於32768，改爲smallin...
分类：
其他好文 时间：
2014-05-26 21:35:46
阅读次数：
310
最近使用hive做一些etl工作，除了日常sql的编写，了解hadoop及hive的一些底层原理性质的东西包括调优非常有必要，一次hive调优就把原来的零散文件做了合并。首先记下hadoop常用的命令：（hadoop
fs -help列出全部）1，hadoop fs –fs [local | ]：声...
分类：
其他好文 时间：
2014-05-26 20:44:49
阅读次数：
308
hadoop环境的部署配置很费时间，有时候开发人员也不怎么关注。如何快速部署一个hadoop环境呢，我用shell脚本编写了一个小程序，可以完成这个功能。
分类：
其他好文 时间：
2014-05-26 20:42:07
阅读次数：
436
分布式框架：
Zookeeper与paxos算法一、zookeeper是什么官方说辞：Zookeeper 分布式服务框架是Apache Hadoop
的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。好抽象，我们...
分类：
其他好文 时间：
2014-05-26 16:37:39
阅读次数：
300
目前，我们已经知道了怎么把ES作为一个简单的NoSQL风格的分布式文档存储的使用方法，我们能把JONS格式的document存储进去，也通过ID检索出来，但是ES的强大功能不止于此，他能整理混乱的数据，把大数据变成大信息。这也是我们使用JSON格式而不是使用其他格式存储document的原因，ES不...
分类：
其他好文 时间：
2014-05-26 14:44:06
阅读次数：
333
本文介绍一个简单的多线程并发爬虫，这里说的简单是指爬取的数据规模不大，单机运行，并且不使用数据库，但保证多线程下的数据的一致性，并且能让爬得正起劲的爬虫停下来，而且能保存爬取状态以备下次继续。
爬虫实现的步骤基本如下：分析网页结构，选取自己感兴趣的部分;建立两个Buffer，一个用于保存已经访问.....
分类：
编程语言 时间：
2014-05-26 13:13:56
阅读次数：
318
几年前，Java将死的话题被传得沸沸扬扬，特别是在甲骨文公司收购SUN公司后，几乎全世界的Java程序员都皱起了眉头。但随着Google
Android平台的崛起以及大数据时代的来临，Java似乎又重新焕发了光芒。2014年1月份，CSDN携手《程序员》杂志发起了“2013年中国软件开发者薪资大调查...
分类：
编程语言 时间：
2014-05-26 08:04:01
阅读次数：
261
