1. 简介
参见《Hadoop in Action》P102 以及 《Hadoop实战(第2版)》(陆嘉恒)P69
2. 案例
网上大部分的说明仅仅是按照《Hadoop in Action》中的示例代码给出,这里是Hadoop0.20.2版本,在该版本中已经实现了BloomFilter。
案例文件如下:
custome...
分类:
其他好文 时间:
2014-06-20 11:01:33
阅读次数:
197
link:http://blog.csdn.net/uniquechao/article/details/26449761版本信息:
hadoop 2.3.0 hive 0.11.01. Application Master 无法访问 点击application mater 链接,出现
http ....
分类:
其他好文 时间:
2014-06-11 13:08:02
阅读次数:
385
Hadoop 的优势Hadoop 是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分
布 式 计 算 平 台。 用 户 可 以 轻 松 地 在Hadoop 上开发执行处理海量数据的应用程序。它主要有下面几个长处:1.高可靠性。Hadoop
按位存储和处理数据的能力值得人们信赖。2.高...
分类:
其他好文 时间:
2014-06-09 15:48:27
阅读次数:
201
Hbase简介
Hbase 全称是Hadoop DataBase ,是一种开源的,可伸缩的,高可靠,高性能,面向列的分布式存储系统。
类似于Google的BigTable,其分布式计算采用MapReduce,通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS,通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引,而Hbase支持一级和二级索...
分类:
其他好文 时间:
2014-06-08 18:24:32
阅读次数:
563
构建一个list注意要标记不要求值,比如用‘ 或者list> (list "a" "b" "c")
("a" "b" "c")或者> '("a" "b" "c")
("a" "b" "c")
查找在一个全是string的list中用正则表达式查找查找第一个匹配到的元素:> (set 'l '("WARNING: org.apache.hadoop.metrics.jvm.EventCounter...
分类:
其他好文 时间:
2014-06-08 16:23:41
阅读次数:
243
上一节,简单介绍了如何发现性能瓶颈。从这节开始,我会和大家分享我在项目中做的一些性能调优工作。这个系列没有什么顺序可言,觉得什么重要,就说说什么。
这节,我们聊缓存。
最开始接触缓存这个词,是学习硬件知识的时候,cpu有缓存,而且还分一级缓存,二级缓存,三级缓存。、
记得当时老师提了一个很有意思的问题。
问:电脑为什么要有一级缓存,二级缓存……,而且还要有内存,还要有硬盘?...
分类:
编程语言 时间:
2014-06-08 15:44:23
阅读次数:
257
下载了Hadoop预编译好的二进制包,hadoop-2.2.0.tar.gz,启动起来后,总是出现这种警告:
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
原因是apache官...
分类:
其他好文 时间:
2014-06-08 09:47:47
阅读次数:
292
使用sqoop将MySQL数据库中的数据导入Hbase
前提:安装好 sqoop、hbase。
下载jbdc驱动:mysql-connector-java-5.1.10.jar
将 mysql-connector-java-5.1.10.jar 复制到 /usr/lib/sqoop/lib/ 下
MySQL导入HBase命令:
sqoop import --connect j...
分类:
数据库 时间:
2014-06-08 08:23:30
阅读次数:
408
系统版本:master:Ubuntu 14.04 salve1:Ubuntu
14.04hadoop: hadoop
2.2.01、系统配置以及安装SSH无密码登陆环境(master&slaves):修改本机(master)和子节点(slaveN)机器名:打开/etc/hostname文件sudo
...
分类:
其他好文 时间:
2014-06-08 07:32:54
阅读次数:
310
运行HBase时常会遇到个错误,我就有这样的经历。
ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times
检查日志:org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientPr...
分类:
其他好文 时间:
2014-06-08 03:02:50
阅读次数:
395