在hadoop1.2.1的安装说明中有说明要预先安装java,我安装了好多版本的java以及好多版本的hadoop,然后发现oracle-java7与hadoop1.2.1是可以匹配的。
一,安装具体步骤如下:
1. 安装java: sudo apt-get install oracle-java7-installer
2. 安装hadoop1.2.1: http://hadoop....
分类:
其他好文 时间:
2014-07-11 00:31:01
阅读次数:
265
1、Shell$ExitCodeException
现象:运行hadoop job时出现如下异常:
14/07/09 14:42:50 INFO mapreduce.Job: Task Id : attempt_1404886826875_0007_m_000000_1, Status : FAILED
Exception from container-launch: org.apache....
分类:
其他好文 时间:
2014-07-11 00:24:58
阅读次数:
355
ERROR namenode.NameNode: java.io.IOException: Cannot lock storage /tmp/hadoop-root/dfs/name. The directory is already locked....
分类:
其他好文 时间:
2014-07-11 00:23:43
阅读次数:
362
在Mysql数据库中,Mysql Merge表有点类似于视图。下面就让我们来一起了解一下Mysql Merge表都有哪些优点,希望对您能有所帮助。
Mysql Merge表的优点:
A: 分离静态的和动态的数据
B:利用结构接近的的数据来优化查询
C: 查询时可以访问更少的数据
D:更容易维护大数据集
E: 可以通过修改.mrg文件来修改Merge表,当然也可以用alter进行修改...
分类:
数据库 时间:
2014-07-10 23:53:04
阅读次数:
313
在执行MR将HDFS转换为HFile的时候,出现了如下异常:
14/07/09 18:02:59 INFO mapred.JobClient: map 83% reduce 0%
14/07/09 18:02:59 INFO mapred.JobClient: Task Id : attempt_201401091245_59030413_m_000001_0, Status : FAILE...
分类:
其他好文 时间:
2014-07-10 23:32:44
阅读次数:
323
在spark-shell中可以定制成接近shark的操作,让熟悉sql的人轻松上手。...
分类:
其他好文 时间:
2014-07-10 23:08:16
阅读次数:
210
http://ns.adobe.com/mxml/2009"
xmlns:s="library://ns.adobe.com/flex/spark"
xmlns:mx="library://ns.adobe.com/flex/mx" xmlns:supportClasses="com.esri.ags.skins.supportClasses.*" minWidth...
Spark1.1发布后会支持Spark SQL CLI , Spark SQL的CLI会要求被连接到一个Hive Thrift Server上,来实现类似hive shell的功能。...
分类:
数据库 时间:
2014-07-10 21:14:38
阅读次数:
737
本文介绍了spark对hadoop sequencefile的读写支持,实现方式以及简单的使用方法。sequencefile和textfile类似,在上下文里有直接提供读取方法,但最终走的还是hadoopFile方法。...
分类:
其他好文 时间:
2014-07-10 17:11:52
阅读次数:
951
现在 Hadoop 已经发展成为包含多个子项目的集合。虽然其核心内容是 MapReduce 和Hadoop 分布式文件系统(HDFS),但 Hadoop 下的Common 、Avro、 Chukwa、Hive 、HBase等子项目也是不可或缺的。它们提供了互补性服务或在核心层上提供了更高层的服务。以...
分类:
其他好文 时间:
2014-07-10 14:57:00
阅读次数:
333