import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbas...
分类：
编程语言 时间：
2014-09-04 18:48:09
阅读次数：
165
首先准备两台linux OS 的机子，这里用的是虚拟机
第一台：
chiwei@chiwei-VirtualBox:~$ hostname
chiwei-VirtualBox
IP：192.168.8.144
第二台：
chiwei@chiwei-hadoop:~/.ssh$ hostname
chiwei-hadoop
IP：192.168.8.200
分别在两台机...
分类：
其他好文 时间：
2014-09-04 17:01:58
阅读次数：
182
HBase技术介绍 莫问 HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigt....
分类：
其他好文 时间：
2014-09-04 16:39:09
阅读次数：
224
【IT168评论】现如今，Apache Hadoop已经无人不知无人不晓。当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软件库，并以自己儿子的大象玩偶为其命名的时候，谁能想到它有一天会占据“大数据”技术的头把交椅呢。 虽然Hadoop伴随大数据一同火爆起来，但相....
分类：
其他好文 时间：
2014-09-04 14:48:49
阅读次数：
160
原文地址：http://my.oschina.net/lanzp/blog/309078目录[-]1、开发配置环境：2、Hadoop服务端配置（Master节点）3、基于Eclipse的Hadoop2.x开发环境配置4、运行Hadoop程序及查看运行日志1、开发配置环境：开发环境：Win7（64bi...
分类：
系统相关 时间：
2014-09-04 14:34:59
阅读次数：
491
第一步：Spark集群需要的软件； ?在1、2讲的从零起步构建好的Hadoop集群的基础上构建Spark集群，我们这里采用2014年5月30日发布的Spark 1.0.0版本，也就是Spark的最新版本，要想基于Spark 1.0.0构建Spark集群，需...
分类：
其他好文 时间：
2014-09-04 12:01:39
阅读次数：
310
HDFSHDFS设计基础与目标:冗余:硬件错误是常态流式数据访问。即数据比量读取而非随机读写，Hadoop擅长做的是数据分析而不是事务处理。大规模数据集简单一致性模型。为了降低系统复杂程度，对文件采用一次性写多多次读的逻辑设置，即是文件一经写入，关闭，再也不能修改。程序采..
分类：
其他好文 时间：
2014-09-04 02:58:58
阅读次数：
277
HBaseHbase是一个分布式的、面向列的开源数据库，该技术来源于Changetal所写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bittable的能力。HBase是Apa..
分类：
其他好文 时间：
2014-09-04 02:58:08
阅读次数：
325
默认是1.0.4，需设置指定Hadoop版本：
在${SPARK_HOME}/pom.xml中的yarn改为
yarn
2
2.2.0
2.2.0
2.5.0
yarn
导入时候选yarn...
分类：
其他好文 时间：
2014-09-03 21:19:57
阅读次数：
330
