近期要hadoop2.4关于上面的行hdfs raid，但在此之前hdfs raid如svn 的branch发展，领导人希望patch方式hdfs raid功能进球trunk里面去，这里涉及到svn branch和trunk的合并问题，下面是hdfs raid 打patch的详细过程。1、保证...
分类：
其他好文 时间：
2015-08-16 18:11:14
阅读次数：
136
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译 ...
分类：
其他好文 时间：
2015-08-15 11:54:01
阅读次数：
142
1.准备Linux环境 1.0配置Linux的ip与本机ip地址在同一个网端上，比如，本机ip地址为192.168.1.102,VM中的linux的ip配置为192.168.1.88，子网掩码与网关相同。 1.1修改主机名 vim /etc/sysconfig/network NETWORK...
分类：
其他好文 时间：
2015-08-15 00:00:16
阅读次数：
499
在装spark之前先装ScalaScala的安装在hadoop安装配置中已经介绍了1、下载spark安装包下载地址如下http://spark.apache.org/downloads.html我选择的是spark-1.4.1-bin-hadoop2.6.tgz放在/root/software解压tarzxvfspark-1.4.1-bin-hadoop2.6.tgz2、配置系统环境变量vim/etc/prof..
分类：
其他好文 时间：
2015-08-14 19:39:39
阅读次数：
211
前言 大数据实在是太热，一直对新技术充满着向往，其实hadoop也不是新技术，已经好几年了。打算学习，一下hadoop整个生态圈的内容。这篇文章介绍一下环境搭...
分类：
系统相关 时间：
2015-08-13 13:51:53
阅读次数：
185
各节点执行如下操作（或在一个节点上操作完后 scp 到其它节点）： 1、 解压spark安装程序到程序目录/bigdata/soft/spark-1.4.1,约定此目录为$SPARK_HOME ????????tar –zxvf spark-1.4-bin-hadoop2.6.ta...
分类：
其他好文 时间：
2015-08-12 19:58:17
阅读次数：
750
在hadoop2.5.2伪分布式上，安装了hbase1.0.1.1的伪分布式利用HBase的API创建个testapi的表时，提示Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/hbase/HBaseCo...
bin/hadoopbin/hdfssbin/start-all.shsbin/start-dfs.shsbin/start-yarn.shsbin/hadoop-daemon.shsbin/hadoop-daemons.sh
分类：
系统相关 时间：
2015-08-12 14:53:27
阅读次数：
143
1、环境描述 Hadoop环境：VirtualBox5(三台)，CentOS7，Hadoop2.7.1 开发环境：Windows7 2、详细配置 2.1、project结构一览 2.2、build.xml <?xml?version="1.0"?encoding="UTF-8"?>
<project?name="wukong-...
分类：
其他好文 时间：
2015-08-11 12:27:53
阅读次数：
235
课程主要涉及Hadoop Sqoop、Flume、Avro重要子项目的技术实战课程针对人群1、本课程适合于有一定java基础知识。对数据库和sql语句有一定了解，熟练使用linux系统的技术人员，特别适合于想换工作或寻求高薪职业的人士2、最好有Greenplum Hadoop、Hadoop2.0、Y...
分类：
其他好文 时间：
2015-08-10 21:59:28
阅读次数：
139
