Hadoop的前景随
着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企
业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及
Android程..
分类：
其他好文 时间：
2015-01-14 18:25:07
阅读次数：
169
首先下载安装，这个就不说了，去apache官网下载安装，貌似186M，很大
解压后，我们看下目录结构如下：
[root@com23 hadoop-2.6.0]# ll
total 64
drwxr-xr-x 2 20000 20000 4096 Nov 14 05:20 bin
drwxr-xr-x 3 20000 20000 4096 Nov 14 05:20 etc
drwxr-xr-...
分类：
其他好文 时间：
2015-01-14 16:53:54
阅读次数：
448
简介：HStore存储是HBase存储的核心了，其中由两部分组成，一部分是MemStore，一部分是StoreFiles。MemStore是Sorted Memory Buffer，用户写入的数据首先会放入MemStore，当MemStore满了以后会Flush成一个StoreFile（底层实现是HFile），当StoreFile文件数量增长到一定阈值，会触发Compact合并操作，将多个Stor...
分类：
其他好文 时间：
2015-01-13 17:42:11
阅读次数：
274
简介：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 1， 适用场景Hive 构建在基于静态批处理的Hadoop 之上，Hadoo...
分类：
其他好文 时间：
2015-01-13 15:56:05
阅读次数：
256
Hadoop2.6集群环境搭建（HDFS HA+YARN）原来4G内存也能任性一次。准备工作：1、笔记本4G内存 ，操作系统WIN7 （屌丝的配置）2、工具VMware Workstation3、虚拟机：CentOS6.4共四台虚拟机设置：每台机器：内存512M，硬盘40G，网络适配器：NAT模式选...
分类：
其他好文 时间：
2015-01-12 11:32:39
阅读次数：
217
1. hadoop集群：1.1 系统及硬件配置： hadoop版本：2.6 ；三台虚拟机：node101(192.168.0.101)、node102(192.168.0.102)、node103(192.168.0.103)； 每台机器2G内存、1个CPU核； node101: NodeManager、 NameNode、ResourceManager、DataNode； ...
分类：
编程语言 时间：
2015-01-11 06:15:09
阅读次数：
307
最近从Hadoop 1.x 转到Hadoop 2.x 同时将一些java 程序转为Scala的程序将平台上的代码减少了很多，在实施的过程中，开到一些Spark相关的YARN的部署上都是基于之前的Hadoop 1.x的部分方式，在Hadoop2.2 +版本之上 基本上就不用这么部署了。其原因就是Had...
分类：
其他好文 时间：
2015-01-10 01:03:07
阅读次数：
237
Hadoop2.4.1 64-Bit QJM HA and YARN HA Install + Zookeeper-3.4.6 + Hbase-0.98.8-hadoop2-bin HA（Hadoop2.4.1(QJM方式的HDFS NameNode HA，YARN ResourceManager ...
分类：
其他好文 时间：
2015-01-09 22:12:06
阅读次数：
788
Hadoop2.0源码包简介
1、解压源码包：
2、目录结构：
hadoop-common-project：Hadoop基础库所在目录，如RPC、Metrics、Counter等。包含了其它所有模块可能会用到的基础库。
hadoop-mapreduce-project：MapReduce框架的实现，在第一代MR即MRv1中，MapReduce由编程模型(map/redu...
分类：
其他好文 时间：
2015-01-08 18:03:28
阅读次数：
159
Hadoop-2.0 目录简介
一、目录结构
将下载的压缩包解压：
解压后文件夹如下：
二、各文件夹目录结构
1、bin：Hadoop2.0的最基本管理脚本和使用脚本所在目录。这些脚本是sbin目录下管理脚本的基础实现，我们可以直接用这些脚本管理和使用Hadoop。
2、etc：这个目录里的文件只要接触过Hadoop的人都很熟悉。Hadoop配置文件目录。首先是从Ha...
分类：
其他好文 时间：
2015-01-07 18:57:20
阅读次数：
126
