码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop spark-sql    ( 29965个结果
分布式-ubuntu12.04上安装hadoop1.2.1
在hadoop1.2.1的安装说明中有说明要预先安装java,我安装了好多版本的java以及好多版本的hadoop,然后发现oracle-java7与hadoop1.2.1是可以匹配的。 一,安装具体步骤如下: 1. 安装java: sudo apt-get install oracle-java7-installer 2. 安装hadoop1.2.1: http://hadoop....
分类:其他好文   时间:2014-07-11 00:31:01    阅读次数:265
Hadoop常见异常及其解决方案
1、Shell$ExitCodeException 现象:运行hadoop job时出现如下异常: 14/07/09 14:42:50 INFO mapreduce.Job: Task Id : attempt_1404886826875_0007_m_000000_1, Status : FAILED Exception from container-launch: org.apache....
分类:其他好文   时间:2014-07-11 00:24:58    阅读次数:355
Cannot lock storage /tmp/hadoop-root/dfs/name. The directory is already locked.
ERROR namenode.NameNode: java.io.IOException: Cannot lock storage /tmp/hadoop-root/dfs/name. The directory is already locked....
分类:其他好文   时间:2014-07-11 00:23:43    阅读次数:362
mysql merge表介绍
在Mysql数据库中,Mysql Merge表有点类似于视图。下面就让我们来一起了解一下Mysql Merge表都有哪些优点,希望对您能有所帮助。 Mysql Merge表的优点: A: 分离静态的和动态的数据 B:利用结构接近的的数据来优化查询 C: 查询时可以访问更少的数据 D:更容易维护大数据集 E: 可以通过修改.mrg文件来修改Merge表,当然也可以用alter进行修改...
分类:数据库   时间:2014-07-10 23:53:04    阅读次数:313
在执行生成Hfile的MR任务的时候出现client端的OOM
在执行MR将HDFS转换为HFile的时候,出现了如下异常: 14/07/09 18:02:59 INFO mapred.JobClient:  map 83% reduce 0% 14/07/09 18:02:59 INFO mapred.JobClient: Task Id : attempt_201401091245_59030413_m_000001_0, Status : FAILE...
分类:其他好文   时间:2014-07-10 23:32:44    阅读次数:323
spark定制之五:使用说明
在spark-shell中可以定制成接近shark的操作,让熟悉sql的人轻松上手。...
分类:其他好文   时间:2014-07-10 23:08:16    阅读次数:210
ArcGIS Api For Flex 动态画点和线
http://ns.adobe.com/mxml/2009"        xmlns:s="library://ns.adobe.com/flex/spark"        xmlns:mx="library://ns.adobe.com/flex/mx" xmlns:supportClasses="com.esri.ags.skins.supportClasses.*" minWidth...
分类:Windows程序   时间:2014-07-10 21:19:33    阅读次数:362
Spark SQL with Hive
Spark1.1发布后会支持Spark SQL CLI , Spark SQL的CLI会要求被连接到一个Hive Thrift Server上,来实现类似hive shell的功能。...
分类:数据库   时间:2014-07-10 21:14:38    阅读次数:737
Spark上对SequenceFile的支持
本文介绍了spark对hadoop sequencefile的读写支持,实现方式以及简单的使用方法。sequencefile和textfile类似,在上下文里有直接提供读取方法,但最终走的还是hadoopFile方法。...
分类:其他好文   时间:2014-07-10 17:11:52    阅读次数:951
Hadoop 项目及结构
现在 Hadoop 已经发展成为包含多个子项目的集合。虽然其核心内容是 MapReduce 和Hadoop 分布式文件系统(HDFS),但 Hadoop 下的Common 、Avro、 Chukwa、Hive 、HBase等子项目也是不可或缺的。它们提供了互补性服务或在核心层上提供了更高层的服务。以...
分类:其他好文   时间:2014-07-10 14:57:00    阅读次数:333
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!