我们的目的是搭建一个可以在任何地方使用的hadoop开发环境。创建maven项目创建一个maven项目，什么类型的项目随便引入hadoop配置文件copy hadoop的配置文件到src/main/resources文件中，只考有用的就行，core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml等。设置环境变量hadoop的配置文件夹中的配置...
分类：
系统相关 时间：
2015-03-19 18:23:53
阅读次数：
200
前言
HDFS为管理员提供了针对目录的配额控制特性，可以控制名称配额（指定目录下的文件&文件夹总数），或者空间配额（占用磁盘空间的上限）。
本文探究了HDFS的配额控制特性，记录了各类配额控制场景的实验详细过程。
实验环境基于Apache Hadoop 2.5.0-cdh5.2.0。
欢迎转载，请注明出处：
名称配额功能试用
设置名称...
分类：
Web程序 时间：
2015-03-19 10:14:16
阅读次数：
224
FS Shell调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对 HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中sc...
分类：
系统相关 时间：
2015-03-19 06:19:26
阅读次数：
234
if the hive version not support drop table tablename purge.your drop table command will move data to .Trash in hdfs.dfs .Trash;drop table tablename;df...
分类：
其他好文 时间：
2015-03-18 15:25:01
阅读次数：
131
大数据提取价值信息技术实现方案
分5步：
1、通过FTP采集文件
2、把文件入到HDFS系统
3、使用HIVE从HDFS中选择数据
4、使用DataStage或Infomatica把数据入库
5、入库到Sybase IQ数据库...
分类：
其他好文 时间：
2015-03-18 14:06:18
阅读次数：
128
一、Hadoop的运行模式单机模式（standalone）
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapRedu...
分类：
系统相关 时间：
2015-03-18 14:04:49
阅读次数：
213
Hadoop简介：一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed FileSystem），简称HDFS。HDFS有着高容错性的特点，...
分类：
其他好文 时间：
2015-03-18 12:05:22
阅读次数：
142
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、Hive是如...
分类：
其他好文 时间：
2015-03-17 21:50:22
阅读次数：
155
环境：eclipse + eclipse hadoop插件， hadoop + rhel6.4
package test;
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
im...
分类：
编程语言 时间：
2015-03-17 15:53:05
阅读次数：
255
Spark简介Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用...
分类：
其他好文 时间：
2015-03-15 00:29:47
阅读次数：
172
