hadoop mr 或者 spark 操作 hbase时候就出现这个错误
这是hbase的bug,可在jira上看到该问题:https://issues.apache.org/jira/browse/HBASE-10304报错信息:15/08/17 19:28:33 ERROR yarn.ApplicationMaster: User class threw exception: org.apa...
分类：
数据库 时间：
2015-08-18 14:17:11
阅读次数：
530
一、概要公司近期Storm清洗程序那边反应HDFS会出现偶发性的异常导致数据写不进HDFS，另外一些Spark作业在大规模往HDFS灌数据时客户端会出现各种“alldatanodebad..”以及服务端出现各种timeout，值得注意的是出现这样的问题是各个datanode节点的负载并不高！二、故障分析首先，..
分类：
编程语言 时间：
2015-08-13 20:20:37
阅读次数：
191
本文作为Spark编译与部署的前置课程，介绍了Hadoop64位环境下的编译与安装...
分类：
其他好文 时间：
2015-08-10 10:42:40
阅读次数：
261
经过了小一天的时间终于把Spark安装好了
我的机器配置是windows7，8G，内存，双核的
安装的软件列表为：
Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic
x86_64)
vmware
Hadoop: 2.6.0
Spark: 1.4.0
jdk-7u75-linux-x64.gz
scala-2.10.4（注意版...
分类：
其他好文 时间：
2015-08-07 20:09:01
阅读次数：
126
1、该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送–Spark入门实战系列》获取；
2、Spark编译与部署将以CentOS 64位操作系统为基础，主要是考虑到实际应用一般使用64位操作系统，内容分为三部分：基础环境搭建、Hadoop编译安装和Spark编译安装，该环境作为后续实验基础；
3、文章演示了Hadoop、Spark的编译过程，同时附属资源提供了编译好的安装包，觉得编译费时间可以直接使用这些编...
分类：
其他好文 时间：
2015-08-05 16:21:19
阅读次数：
156
Spark运行环境Spark 是Scala写的, 运行在JVM上。所以运行环境是Java6或者以上。
如果想要使用 Python API，需要安装Python 解释器2.6版本或者以上。
目前Spark(1.2.0版本) 与Python 3不兼容。
Spark下载下载地址：http://spark.apache.org/downloads.html，选择Pre-built for Hadoop...
分类：
其他好文 时间：
2015-08-04 13:28:21
阅读次数：
117
摘要：7月30日，七牛数据平台工程师王团结就七牛内部使用的数据平台，深入分享了该团队在Flume、Kafka、Spark以及Streaming上的实践经验，并讲解了各个工具使用的注意点。
继“ YARN or Mesos？Spark痛点探讨”、“ Mesos资源调度与管理的深入分享与交流”、及“ 主流SQL
on Hadoop框架选择”之后，CSDN Spark微信用户群邀请了王团结...
分类：
微信 时间：
2015-07-31 09:07:00
阅读次数：
297
数据平台在大部分公司都属于支撑性平台，做的不好立刻会被吐槽，这点和运维部门很像。所以在技术选型上优先考虑现成的工具，快速出成果，没必要去担心有技术负担。早期，我们走过弯路，认为没多少工作量，收集存储...
分类：
其他好文 时间：
2015-07-31 06:50:32
阅读次数：
240
1.hadoop查看hdfs上的目录： hadoop fs -ls /在hdfs上创建一个目录： hadoop fs -mkdir /jiatest把文件上传到hdfs指定目录: hadoop fs -put test.txt /jiatest上传jar包到hadoop上跑...
分类：
系统相关 时间：
2015-07-30 01:56:10
阅读次数：
205
Hadoop：
Hadoop在使用原理上基本上遵照了Map、Reduce这样的一种模式进行项目的实际开发与交互，将一个个任务分解成映射与合并两种方式，然而通过映射进行分类与简化，从而产生部分归并结果，然后对同类结果进行归并计算；
由于Hadoop的中间结果需要依托于hdfs，从而需要经历硬盘及网络io的过程所以在实时性方面表现稍差；
Hadoop主要处理hdfs上的文本文件，而文本文件内容本...
分类：
其他好文 时间：
2015-07-07 19:27:46
阅读次数：
294
