Hadoop参数汇总 @(hadoop)[配置] linux参数 以下参数最好优化一下： 文件描述符ulimit -n 用户最大进程 nproc （hbase需要 hbse book） 关闭swap分区 设置合理的预读取缓冲区 Linux的内核的IO调度器 JVM参数 JVM方...
分类：
其他好文 时间：
2015-06-26 18:14:07
阅读次数：
168
【如果觉得我的笔记写的好，您可以小额赞助我：支付宝 15202166392】本文环境：OS:CentOS 6.6JDK:1.7.0_79Hadoop:1.0.4User:xavier一、伪分布式Hadoop配置[备注]Hadoop位于：/home/xavier/下Hadoop目录下建立：tmp,df...
分类：
其他好文 时间：
2015-06-16 22:28:25
阅读次数：
131
【如果觉得我的笔记写的好，您可以小额赞助我：支付宝 15202166392】本文环境：OS:CentOS 6.6JDK:1.7.0_79Hadoop:2.7.0User:xavier一、伪分布式Hadoop配置[备注]Hadoop位于：/home/xavier/下Hadoop目录下建立：tmp,df...
分类：
其他好文 时间：
2015-06-16 22:27:32
阅读次数：
182
准备： 安装jdk和ssh。1. 官网下载hadoop1.2.1 hadoop-1.2.1.tar.gz http://hadoop.apache.org/releases.html2. 解压到/home/hadoop/目录下3. 伪分布式hadoop配置 可以把伪分布式的hadoop看做只...
分类：
其他好文 时间：
2015-06-15 18:19:55
阅读次数：
147
一,配置history server
1.配置history server,在etc/hadoop/mapred-site.xml中配置以下内容.
mapreduce.jobhistory.address
localhost:10020
mapreduce.jobhistory.webapp.address
localhost:198...
分类：
其他好文 时间：
2015-06-11 14:45:58
阅读次数：
401
dfs.name.dirDetermines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of dir....
分类：
其他好文 时间：
2015-06-11 06:55:03
阅读次数：
129
hbase ganglia 监控hbase 配置
hadoop-metrics2-hbase.properties
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.sink.ganglia.period=10 hbase.sink.ganglia.period=10
hbase.s...
分类：
其他好文 时间：
2015-06-09 13:49:50
阅读次数：
166
利用eclipse远程调试功能，实现sqoop本地环境集成：利用cygwin部署0、将sqoop-1.4.2放在/home/Administrator/hadoop1、sqoop中设置HOME_HOME：修改SQOOP_HOME/bin/configure-sqoop：HADOOP_HOME=/cygdrive/e/work/hadoop-1.0.3（cygwin的目录配置方式）2、hadoop配置java_home$..
分类：
其他好文 时间：
2015-06-03 13:56:58
阅读次数：
208
1.Hadoop配置文件的形式 Hadoop的配置文件是以XML的形式，跟元素是configuration,一般只包含子元素property。每一个property元素就是一个配置项，配置文件不支持分层或分级。每个配置项一般包括配置属性的名称name、值value和一个关于配置项的描述descri....
分类：
其他好文 时间：
2015-05-29 21:36:19
阅读次数：
137
接着上一篇来说。上篇说了hadoop网络拓扑的构成及其相应的网络位置转换方式，本篇主要讲通过两种方式来配置机架感知。一种是通过配置一个脚本来进行映射；另一种是通过实现DNSToSwitchMapping接口的resolve()方法来完成网络位置的映射。 hadoop自身是没有机架感知能力的，必...
分类：
其他好文 时间：
2015-05-27 22:41:32
阅读次数：
219
