1.创建文件夹 private static final String PATH = "hdfs://hadoop:9000/"; private static final String DIR = "/d2"; public static void main(String...
分类：
其他好文 时间：
2015-01-19 00:12:26
阅读次数：
263
一、部分关键参数介绍
参数介绍
--connect 指定关系型数据库JDBC连接字符串
--connection-manager 指定数据库使用的管理类
--driver 手动指定要使用JDBC驱动程序类
--hadoop-mapred-home 重写覆盖$HADOOP_MAPRED_HOME
--help...
分类：
数据库 时间：
2015-01-18 15:50:57
阅读次数：
438
package com.bank.service;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.ap...
分类：
其他好文 时间：
2015-01-17 22:01:48
阅读次数：
270
HDFS是HADOOP中的核心技术之一——分布式文件存储系统。Hadoop的作者Doug Cutting 和Mike 是根据Google发布关于GFS 的研究报告所设计出的分布式文件存储系统。一、HDFS设计的前提或者假设有6个：硬件错误是常态而不是异常。对于普通的每台机器来说，出现故障可能并是.....
分类：
其他好文 时间：
2015-01-17 20:47:57
阅读次数：
322
HDFS是一个分布式文件系统，既然是文件系统，就可以对其文件进行操作，比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。
对分HDFS中的文件操作主要涉及一下几个类：
Configuration类：该类的对象封转了客户端或者服务器的配置。
FileSystem类：该类的对象是一个文件系统对象，可以用该对象的一些方法来对...
分类：
编程语言 时间：
2015-01-16 16:40:38
阅读次数：
353
配置CDH和管理服务
关闭DataNode前HDFS的调优
角色要求：配置员、集群管理员、完全管理员
当一个DataNode关闭，NameNode确保每一个DataNode中的每一个块根据复制系数（the replication factor）跨集群仍然是可用的。这个过程涉及到DataNode间小批次的块复制。在这种情况下，一个DataNode有成千上万个块，关闭后集群间还原备份数可能...
分类：
其他好文 时间：
2015-01-16 11:20:07
阅读次数：
509
一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的...
分类：
其他好文 时间：
2015-01-15 17:36:36
阅读次数：
224
shell脚本--linux终端运行hadoop--java文件假设保存为test.sh,java文件为wc.java,【注：会打包成1.jar】,main函数所在类为wc,hdfs上输入目录地址为input，hdfs上输出目录地址为output【注：输入目录和输出目录非必须】 www.ahlinu...
分类：
系统相关 时间：
2015-01-15 12:36:48
阅读次数：
175
