码迷,mamicode.com
首页 >  
搜索关键字:hadoop yarn    ( 15103个结果
springmvc与hadoop整合时jackson包冲突
因项目需要,将springmvc和hbase整合,启动tomcat时报错如下:SEVERE: Exception sending context initialized event to listener instance of class org.springframework.web.conte...
分类:编程语言   时间:2014-06-27 20:20:46    阅读次数:557
cdh4.1.2 hadoop和oozie集成问题
1.异常信息例如以下: Caused by: com.google.protobuf.ServiceException: java.net.ConnectException: Call From slave4/10.95.3.65 to 0.0.0.0:10020 failed on connect...
分类:其他好文   时间:2014-06-27 18:58:32    阅读次数:280
Secondarynamenode无法正常备份:ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint
原先使用hadoop默认设置(hadoop1.2.1),secondarynamenode会正常进行备份,定时从namenode拷贝image文件到SNN。但是具体SNN备份的时间周期和log文件的大小无法定制,后来楼主就修改了SNN的设置,将fs.checkpoint.period修改为...
分类:其他好文   时间:2014-06-27 16:05:28    阅读次数:452
hbase启动时遇到class not found 错误
问题描述:1 当hbase自己运行时,没有问题,可以正常启动2 当搭建完hadoop环境后,再启动报异常:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/util/HBaseConf...
分类:其他好文   时间:2014-06-27 14:59:21    阅读次数:268
Hadoop技术内幕HDFS-笔记1
书籍学习——董西成《Hadoop技术内幕 深入解析HADOOP COMMON和HDFS架构设计与实现原理》HDFS 高容错,高伸缩性Lucene是引擎开发包,提供了一个纯java的高性能全文检索,可方便的嵌入到各种应用中实现全文搜索/索引功能。Nutch是以Lucene为基础实现的搜索引擎应用,Lu...
分类:其他好文   时间:2014-06-27 12:15:57    阅读次数:221
MR之SequenceFile详解
package com.leaf.hadoop.second; import java.util.Random; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hado...
分类:其他好文   时间:2014-06-27 10:00:17    阅读次数:294
流式计算框架-STORM简介
Apache Storm是一个免费、开源、分布式的实时计算系统。相对于Hadoop适用于批处理而言,利用Storm可以非常容易地对流式数据进行实时可靠处理。Storm使用简单,支持多种编程语言且非常有趣!...
分类:其他好文   时间:2014-06-26 14:20:52    阅读次数:294
Spark SQL Hive Support Demo
前提:1、spark1.0的包编译时指定支持hive:./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn--with-hive--tgz2、安装完spark1.0;3、安装与hadoop对应的CDH版本的hive;Spark SQL ...
分类:数据库   时间:2014-06-26 11:24:11    阅读次数:564
_00017 Flume的体系结构介绍以及Flume入门案例(往HDFS上传数据)
# 学习前言 想学习一下Flume,网上找了好多文章基本上都说的很简单,只有一半什么的,简直就是坑爹,饿顿时怒火就上来了,学个东西真不容易,然后自己耐心的把这些零零碎碎的东西整理整理,各种搭环境实验之后才弄好的,也不容易啊,希望可以帮到想学Flume的你 、、、 # Flume介绍 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制...
分类:其他好文   时间:2014-06-26 08:01:52    阅读次数:449
hadoop 多目录输入,map到reduce如何排序
使用MultipleInputs.addInputPath 对多个路径输入 现在假设有三个目录,并使用了三个mapper去处理, 经过map处理后,输出的结果会根据key 进行join, 如果使用TextPair,会根据第一个字段jion,第二个字段排序 然后在作为reduce的输入,进行计算...
分类:其他好文   时间:2014-06-26 07:49:51    阅读次数:250
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!