前面bolg中提到了 eclipse操作单机版的Hbase列子 不熟悉的朋友可以去看看
eclipse 连接并操作单机版Hbase
本篇文章介绍一个 Mapreduce 读取 Hbase 中数据 并进行计算 列子 类似与 wordcount 不过 此时的输入 是从 Hbase中读取
首先 需要创建输入源...
分类:
系统相关 时间:
2015-01-09 17:25:34
阅读次数:
161
这篇文章翻译自Yahoo的Hadoop教程,很久之前就看过了,感觉还不错。最近想总结一下以前学的东西,看到现在关于Hadoop的中文资料还比较少,就有了把它翻译出来的想法,希望能帮助到初学者。这只是Yahoo的Hadoop教程中很小的一部分,我下去还会选一些来翻译,一般来说只翻译讲原理的,操作类的就...
分类:
其他好文 时间:
2015-01-09 16:51:38
阅读次数:
212
本文前提是Hadoop & Java & mysql 数据库,已经安装配置好,并且 环境变量均已经配置到位一、Hive 基本介绍 Hive是Hadoop家族中一款数据仓库产品,Hive最大的特点就是提供了类SQL的语法,封装了底层的MapReduce过程,让有SQL基础的业务人员,也可以直接利用H....
分类:
其他好文 时间:
2015-01-09 14:03:57
阅读次数:
151
Hadoop2.0源码包简介
1、解压源码包:
2、目录结构:
hadoop-common-project:Hadoop基础库所在目录,如RPC、Metrics、Counter等。包含了其它所有模块可能会用到的基础库。
hadoop-mapreduce-project:MapReduce框架的实现,在第一代MR即MRv1中,MapReduce由编程模型(map/redu...
分类:
其他好文 时间:
2015-01-08 18:03:28
阅读次数:
159
# (WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 > 为了部署HA集群,应该准备以下事情: * namenode服务器: 运行namenode的服务器应该有相同的硬件配置. * journalnode服务器:运行的journalnode进程...
分类:
其他好文 时间:
2015-01-08 13:33:04
阅读次数:
166
最近,散仙用了几周的Pig来处理分析我们网站搜索的日志数据,感觉用起来很不错,今天就写篇笔记介绍下Pig的由来,除了搞大数据的人,可能很少有人知道Pig是干啥的,包括一些是搞编程的,但不是搞大数据的,还包括一些既不是搞编程的,也不是搞大数据的,而是从事其他行业的朋友..
分类:
Web程序 时间:
2015-01-08 07:14:32
阅读次数:
261
处理后的数据可直接放到hive或者mapreduce程序来统计网络数据流的信息,比如当前实现的是比较简单的http的Get请求的统计第一个mapreduce:将时间、十六进制包头信息提取出来,并放在一行(这里涉及到mapreduce的键值对的对多行的特殊处理,是个值得注意的地方)主要遇到两个问题: ...
分类:
其他好文 时间:
2015-01-07 20:42:16
阅读次数:
193
MongoDB MapReduce计算统计介绍。...
分类:
数据库 时间:
2015-01-07 15:02:05
阅读次数:
192
hadoop通过hadoop streaming 来实现用非Java语言写的mapreduce代码。 对于一个一点Java都不会的我来说,这真是个天大的好消息。官网上hadoop streaming的介绍在:http://hadoop.apache.org/docs/r2.6.0/hadoop-ma...
分类:
编程语言 时间:
2015-01-07 12:51:28
阅读次数:
151
Hadoop技术已经无处不在。不管是好是坏,Hadoop已经成为大数据的代名词。短短几年间,Hadoop从一种边缘技术成为事实上的标准。看来,不仅现在Hadoop是企业大数据的标准,而且在未来,它的地位似乎一时难以动摇。谷歌文件系统与MapReduce我们先来探讨一下Hadoop的灵魂——MapRe...
分类:
其他好文 时间:
2015-01-07 00:37:16
阅读次数:
179