我64位机器，当时hadoop启动的时候出现这个问题是因为hadoop本身自带的本地库是32位的，我现在hadoop2.2.0已经替换了本地库为64位的了，并且编译spark的时候采用了相对应的版本：SPARK_HADOOP_VERSION=2.2.0 SPARK_YARN=true ./sbt/s ...
分类：
其他好文 时间：
2016-04-16 22:51:03
阅读次数：
199
导入数据最快的方式，可以略过WAL直接生产底层HFile文件 （环境：centos6.5、Hadoop2.6.0、HBase0.98.9） 1.SHELL方式 1.1 ImportTsv直接导入 命令：bin/hbase org.apache.hadoop.hbase.mapreduce.Impor ...
分类：
其他好文 时间：
2016-04-14 11:51:59
阅读次数：
292
前言
首先确保已经搭建好Hadoop集群环境，可以参考《Linux下Hadoop集群环境的搭建》一文的内容。我在测试mapreduce任务时，发现相比于使用Job.setNumReduceTasks(int)控制reduce任务数量而言，控制map任务数量一直是一个困扰我的问题。好在经过很多摸索与实验，终于梳理出来，希望对在工作中进行Hadoop进行性能调优的新人们有个借鉴。本文只针对FileI...
分类：
其他好文 时间：
2016-04-12 17:23:55
阅读次数：
173
1.课程环境 本课程涉及的技术产品及相关版本： 技术 版本 Linux CentOS 6.5 Java 1.7 Hadoop2.0 2.6.0 Hadoop1.0 1.2.1 Zookeeper 3.4.6 CDH Hadoop 5.3.0 Vmware 10 Hive 0.13.1 HBase 0 ...
分类：
其他好文 时间：
2016-04-12 07:06:19
阅读次数：
372
Hadoop的前景 随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企 业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及 Andr ...
分类：
其他好文 时间：
2016-04-11 23:57:12
阅读次数：
175
随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企 业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及 Android程序员。 Ha ...
分类：
其他好文 时间：
2016-04-11 23:53:19
阅读次数：
277
环境：win7、myeclipse2014、hadoop2.6.1
实验内容：在win7的myeclipse2014上编写hadoop代码，连接centos部署的hadoop2.6.1集群环境
操作步骤：
1、
将centos安装部署的Hadoop2.6.1包拷贝到win7系统中
2、
下载Hadoop2.6.1对应版本的eclipse插件，我用的是had...
一、背景 天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可 用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MR ...
分类：
其他好文 时间：
2016-04-10 01:16:46
阅读次数：
257
1 概述 在hadoop2.0之前，namenode只有一个，存在单点问题（虽然hadoop1.0有 secondarynamenode，checkpointnode，buckcupnode这些，但是单点问题依然存在），在hadoop2.0引入了 HA机制。hadoop2.0的HA机制官方介绍了有2 ...
分类：
其他好文 时间：
2016-04-10 01:15:51
阅读次数：
261
Hadoop 1.0内核主要由两个分支组成：MapReduce和HDFS，众所周知，这两个系统的设计缺陷是单点故障，即MR的JobTracker和HDFS的NameNode两个核心服务均存在单点问题，该问题在很长时间内没有解决，这使得Hadoop在相当长时间内仅适合离线存储和离线计算。 令人欣慰的是 ...
分类：
其他好文 时间：
2016-04-10 01:12:48
阅读次数：
189
