集群环境介绍：hadoop2.4.1 64位
6台服务器：
hadoop11 NameNode 、SecondaryNameNode
hadoop22 ResourceManager
hadoop33 DataNode、NodeManager
hadoop44 DataNode、NodeManager
hadoop55 DataNode、NodeManager
hadoop66...
分类：
编程语言 时间：
2016-07-19 11:03:03
阅读次数：
181
实验开发环境所用软件：[root@hadoop11 local]# ll
total 320576
-rw-r--r-- 1 root root 52550402 Mar 6 10:34 apache-flume-1.6.0-bin.tar.gz
drwxr-xr-x 7 root root 4096 Jul 15 10:46 flume
drwxr-xr-x. 11 root...
分类：
Web程序 时间：
2016-07-15 20:54:54
阅读次数：
262
学习Hadoop2.0中包括HDFS、YARN、Mapreduce相关知识。...
分类：
其他好文 时间：
2016-07-15 11:11:22
阅读次数：
251
近日在线上发现有些mapreduce作业的执行时间很长，我们需要解决这个问题。输入文件的大小是5G，采用了lzo压缩，整个集群的默认block大小是128M。本文将详细描述这次线上问题的排查过程。...
分类：
其他好文 时间：
2016-07-14 15:38:19
阅读次数：
179
1.运行的时候报错Exception in thread "main" java.lang.NullPointerException at java.lang.ProcessBuilder.start(ProcessBuilder.java:1010) at org.apache.hadoop.ut ...
分类：
其他好文 时间：
2016-07-06 23:04:52
阅读次数：
916
1.Spark提交任务./spark-submit--class"com.prime.dsc.mention.main.WordCountForSpark"--masterspark://DEV-HADOOP-01:7077/data/server/spark-1.5.0-bin-hadoop2.6/sparkJar/PRIME_DSC_Mention-1.0.0-SNAPSHOT.jar2.Spark本地运行SparkConfsparkConf=newSparkConf().setAppNa..
分类：
其他好文 时间：
2016-07-06 18:48:54
阅读次数：
362
1.Spark提交任务./spark-submit--class"com.prime.dsc.mention.main.WordCountForSpark"--masterspark://DEV-HADOOP-01:7077/data/server/spark-1.5.0-bin-hadoop2.6/sparkJar/PRIME_DSC_Mention-1.0.0-SNAPSHOT.jar2.Spark本地运行SparkConfsparkConf=newSparkConf().setAppNa..
分类：
其他好文 时间：
2016-07-06 18:47:37
阅读次数：
190
用到的软件： 一、安装jdk： 1、要安装的jdk，我把它拷在了共享文件夹里面。 （用优盘拷也可以） 2、我把jdk拷在了用户文件夹下面。 （其他地方也可以，不过路径要相应改变） 3、执行复制安装解压命令： 解压完毕： 查看解压的文件夹： 4、配置 环境变量： 写入如下5行代码： 使配置生效： 5、 ...
分类：
其他好文 时间：
2016-07-05 22:19:06
阅读次数：
110
今天正在了解HBase和Hadoop，了解到HBase1.1.x为稳定版，对应的Hadoop2.5.x是最新的支持此版本HBase的，同时jdk版本为jdk7才能支持。--本段话内容参考自Apache官方文档： 1.本表格为jdk与hbase版本对应： 2.以下表格为hbase与Hadoop版本对应 ...
分类：
其他好文 时间：
2016-07-05 13:50:36
阅读次数：
290
简单实现hadoop程序，包括：hadoop2.x的实现写法 import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable;imp ...
分类：
其他好文 时间：
2016-07-03 23:09:54
阅读次数：
189
