码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop spark-sql    ( 29965个结果
springmvc与hadoop整合时jackson包冲突
因项目需要,将springmvc和hbase整合,启动tomcat时报错如下:SEVERE: Exception sending context initialized event to listener instance of class org.springframework.web.conte...
分类:编程语言   时间:2014-06-27 20:20:46    阅读次数:557
cdh4.1.2 hadoop和oozie集成问题
1.异常信息例如以下: Caused by: com.google.protobuf.ServiceException: java.net.ConnectException: Call From slave4/10.95.3.65 to 0.0.0.0:10020 failed on connect...
分类:其他好文   时间:2014-06-27 18:58:32    阅读次数:280
ajax大数据排队导出+进度条
描述 :我们现在有很多数据,分表存放,现在需要有精度条的导出。最后面有完整源码。效果图:点击导出,实现点击导出统计完成之后点击确定前面导出操作简单,从第二个导出操作开始:点击"确定"调用exportCsv函数导出exportCvs函数如下function exportCsv(){ //清除等待的转动...
分类:其他好文   时间:2014-06-27 18:11:43    阅读次数:315
Secondarynamenode无法正常备份:ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint
原先使用hadoop默认设置(hadoop1.2.1),secondarynamenode会正常进行备份,定时从namenode拷贝image文件到SNN。但是具体SNN备份的时间周期和log文件的大小无法定制,后来楼主就修改了SNN的设置,将fs.checkpoint.period修改为...
分类:其他好文   时间:2014-06-27 16:05:28    阅读次数:452
hbase启动时遇到class not found 错误
问题描述:1 当hbase自己运行时,没有问题,可以正常启动2 当搭建完hadoop环境后,再启动报异常:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/util/HBaseConf...
分类:其他好文   时间:2014-06-27 14:59:21    阅读次数:268
流式计算框架-STORM简介
Apache Storm是一个免费、开源、分布式的实时计算系统。相对于Hadoop适用于批处理而言,利用Storm可以非常容易地对流式数据进行实时可靠处理。Storm使用简单,支持多种编程语言且非常有趣!...
分类:其他好文   时间:2014-06-26 14:20:52    阅读次数:294
Spark SQL Hive Support Demo
前提:1、spark1.0的包编译时指定支持hive:./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn--with-hive--tgz2、安装完spark1.0;3、安装与hadoop对应的CDH版本的hive;Spark SQL ...
分类:数据库   时间:2014-06-26 11:24:11    阅读次数:564
胖子哥的大数据之路(12)-三张图告诉你大数据安全方案设计
最近一直很忙,在做一个全国性项目的IT架构,所以一直没有更新,好在算是告一段落,继续努力吧。项目沟通中过程客户反复在强调,大数据的安全性,言下之意,用了大数据,就不安全了,就有漏洞了。所以花了些时间,针对大数据的安全设计做了一个总结,算是阶段性的成果吧,分享给大家。...
分类:其他好文   时间:2014-06-26 10:46:32    阅读次数:242
_00017 Flume的体系结构介绍以及Flume入门案例(往HDFS上传数据)
# 学习前言 想学习一下Flume,网上找了好多文章基本上都说的很简单,只有一半什么的,简直就是坑爹,饿顿时怒火就上来了,学个东西真不容易,然后自己耐心的把这些零零碎碎的东西整理整理,各种搭环境实验之后才弄好的,也不容易啊,希望可以帮到想学Flume的你 、、、 # Flume介绍 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制...
分类:其他好文   时间:2014-06-26 08:01:52    阅读次数:449
大数据处理
DMCTextFilter和HTMLFilter数据过滤器我们已经进入了大数据处理时代,需要快速、简单的处理海量数据,海量数据处理的三个主要因素:大容量数据、多格式数据和速度,DMCTextFilter和HTMLFilter是由北京红樱枫软件有限公司研制和开发的纯文本抽出和HTML转换通用程序库产品。本产..
分类:其他好文   时间:2014-06-26 06:34:02    阅读次数:239
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!