码迷,mamicode.com
首页 >  
搜索关键字:hadoop 大数据 云计算    ( 28457个结果
springmvc与hadoop整合时jackson包冲突
因项目需要,将springmvc和hbase整合,启动tomcat时报错如下:SEVERE: Exception sending context initialized event to listener instance of class org.springframework.web.conte...
分类:编程语言   时间:2014-06-27 20:20:46    阅读次数:557
cdh4.1.2 hadoop和oozie集成问题
1.异常信息例如以下: Caused by: com.google.protobuf.ServiceException: java.net.ConnectException: Call From slave4/10.95.3.65 to 0.0.0.0:10020 failed on connect...
分类:其他好文   时间:2014-06-27 18:58:32    阅读次数:280
ajax大数据排队导出+进度条
描述 :我们现在有很多数据,分表存放,现在需要有精度条的导出。最后面有完整源码。效果图:点击导出,实现点击导出统计完成之后点击确定前面导出操作简单,从第二个导出操作开始:点击"确定"调用exportCsv函数导出exportCvs函数如下function exportCsv(){ //清除等待的转动...
分类:其他好文   时间:2014-06-27 18:11:43    阅读次数:315
Secondarynamenode无法正常备份:ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint
原先使用hadoop默认设置(hadoop1.2.1),secondarynamenode会正常进行备份,定时从namenode拷贝image文件到SNN。但是具体SNN备份的时间周期和log文件的大小无法定制,后来楼主就修改了SNN的设置,将fs.checkpoint.period修改为...
分类:其他好文   时间:2014-06-27 16:05:28    阅读次数:452
hbase启动时遇到class not found 错误
问题描述:1 当hbase自己运行时,没有问题,可以正常启动2 当搭建完hadoop环境后,再启动报异常:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/util/HBaseConf...
分类:其他好文   时间:2014-06-27 14:59:21    阅读次数:268
Hadoop技术内幕HDFS-笔记1
书籍学习——董西成《Hadoop技术内幕 深入解析HADOOP COMMON和HDFS架构设计与实现原理》HDFS 高容错,高伸缩性Lucene是引擎开发包,提供了一个纯java的高性能全文检索,可方便的嵌入到各种应用中实现全文搜索/索引功能。Nutch是以Lucene为基础实现的搜索引擎应用,Lu...
分类:其他好文   时间:2014-06-27 12:15:57    阅读次数:221
[Hadoop] 令人迷惑的版本
由于Hadoop还处于初期高速发展的节点,加上它又是开源的,因此它的版本一直很混乱,Hadoop一些主要的特性有: Append:支持文件追加功能,如果想使用HBase,需要这个特性。 RAID : 在保证数据可靠的前提下,通过引入校验码减少数据块数目。详细链接:https://issues.apache.org/jira/browse/HDFS/component/12313080 ...
分类:其他好文   时间:2014-06-27 10:32:09    阅读次数:272
MR之SequenceFile详解
package com.leaf.hadoop.second; import java.util.Random; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hado...
分类:其他好文   时间:2014-06-27 10:00:17    阅读次数:294
Storm使用入门之引言
过去十年,数据处理领域发生了很大的变化,可以认为是发生了一次革命。MapReduce、Hadoop以及其他相关技术使得在存储和处理我们以前无法想象的大规模数据方面成为可能。然后不幸的是,这些数据处理技术并不是实时系统,而且他们命中注定也不是。无法将Hadoop转换成实时系统,因为实时数据处理和批处理在要求上有本质的不同。 然后,大规模地实时数据处理需求在商业应用上已经越来越迫切。数据处理生态中缺少”实时Hadoop“(即类似于Hadoop在批处理领域的通用解决方案)已经成为一个最大的遗憾。Storm弥补了...
分类:其他好文   时间:2014-06-27 09:04:04    阅读次数:184
Spark SQL Hive Support Demo
前提:1、spark1.0的包编译时指定支持hive:./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn--with-hive--tgz2、安装完spark1.0;3、安装与hadoop对应的CDH版本的hive;Spark SQL ...
分类:数据库   时间:2014-06-26 11:24:11    阅读次数:564
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!