码迷,mamicode.com
首页 >  
搜索关键字:hadoop 性能调优    ( 15126个结果
Hadoop0.20.2 Bloom filter应用示例
1. 简介     参见《Hadoop in Action》P102 以及 《Hadoop实战(第2版)》(陆嘉恒)P69                  2. 案例     网上大部分的说明仅仅是按照《Hadoop in Action》中的示例代码给出,这里是Hadoop0.20.2版本,在该版本中已经实现了BloomFilter。     案例文件如下:     custome...
分类:其他好文   时间:2014-06-20 11:01:33    阅读次数:197
(转)yarn 集群部署,遇到的问题小结
link:http://blog.csdn.net/uniquechao/article/details/26449761版本信息: hadoop 2.3.0 hive 0.11.01. Application Master 无法访问 点击application mater 链接,出现 http ....
分类:其他好文   时间:2014-06-11 13:08:02    阅读次数:385
hadoop备记
Hadoop 的优势Hadoop 是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分 布 式 计 算 平 台。 用 户 可 以 轻 松 地 在Hadoop 上开发执行处理海量数据的应用程序。它主要有下面几个长处:1.高可靠性。Hadoop 按位存储和处理数据的能力值得人们信赖。2.高...
分类:其他好文   时间:2014-06-09 15:48:27    阅读次数:201
Hbase入门
Hbase简介 Hbase 全称是Hadoop DataBase ,是一种开源的,可伸缩的,高可靠,高性能,面向列的分布式存储系统。 类似于Google的BigTable,其分布式计算采用MapReduce,通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS,通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引,而Hbase支持一级和二级索...
分类:其他好文   时间:2014-06-08 18:24:32    阅读次数:563
newLISP list操作
构建一个list注意要标记不要求值,比如用‘ 或者list> (list "a" "b" "c") ("a" "b" "c")或者> '("a" "b" "c") ("a" "b" "c") 查找在一个全是string的list中用正则表达式查找查找第一个匹配到的元素:> (set 'l '("WARNING: org.apache.hadoop.metrics.jvm.EventCounter...
分类:其他好文   时间:2014-06-08 16:23:41    阅读次数:243
《java系统性能调优》--2.缓存
上一节,简单介绍了如何发现性能瓶颈。从这节开始,我会和大家分享我在项目中做的一些性能调优工作。这个系列没有什么顺序可言,觉得什么重要,就说说什么。 这节,我们聊缓存。 最开始接触缓存这个词,是学习硬件知识的时候,cpu有缓存,而且还分一级缓存,二级缓存,三级缓存。、 记得当时老师提了一个很有意思的问题。 问:电脑为什么要有一级缓存,二级缓存……,而且还要有内存,还要有硬盘?...
分类:编程语言   时间:2014-06-08 15:44:23    阅读次数:257
64位CentOS上编译 Hadoop 2.2.0
下载了Hadoop预编译好的二进制包,hadoop-2.2.0.tar.gz,启动起来后,总是出现这种警告: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因是apache官...
分类:其他好文   时间:2014-06-08 09:47:47    阅读次数:292
使用sqoop将MySQL数据库中的数据导入Hbase
使用sqoop将MySQL数据库中的数据导入Hbase 前提:安装好 sqoop、hbase。 下载jbdc驱动:mysql-connector-java-5.1.10.jar 将 mysql-connector-java-5.1.10.jar 复制到 /usr/lib/sqoop/lib/ 下 MySQL导入HBase命令: sqoop import --connect j...
分类:数据库   时间:2014-06-08 08:23:30    阅读次数:408
Ubuntu14.04下Hadoop2.2.0集群搭建
系统版本:master:Ubuntu 14.04 salve1:Ubuntu 14.04hadoop: hadoop 2.2.01、系统配置以及安装SSH无密码登陆环境(master&slaves):修改本机(master)和子节点(slaveN)机器名:打开/etc/hostname文件sudo ...
分类:其他好文   时间:2014-06-08 07:32:54    阅读次数:310
org.apache.hadoop.hbase.MasterNotRunningException解决策略
运行HBase时常会遇到个错误,我就有这样的经历。  ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times 检查日志:org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientPr...
分类:其他好文   时间:2014-06-08 03:02:50    阅读次数:395
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!