TDW 是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的 JobTracker 分散化和 NameNode 高可用两个优化方案。TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源...
分类：
其他好文 时间：
2014-08-21 16:39:04
阅读次数：
252
HBase分布式集群环境搭建成功后，连续4、5天实验客户端Map/Reduce程序开发，这方面的代码网上多得是，写个测试代码非常容易，可是真正运行起来可说是历经挫折。下面就是我最终调通并让程序在集群上运行起来的一些经验教训。 一、首先说一下我的环境： 1，集群的环境配置请见这篇博文。 2，...
分类：
其他好文 时间：
2014-08-21 16:26:54
阅读次数：
366
Centralized Cache Management inHDFS
Overview
HDFS中的集中式缓存管理是一个显式的管理缓存的机制，它允许用户指定被HDFS缓存的路径。NameNode将与磁盘上有所需的Block的DataNode通信，命令其在堆外缓存里缓存Block。
HDFS中的集中式缓存管理有许多重要的优势。
1. 明确地防止频繁使用的数据被赶出内存。当工作集的...
分类：
其他好文 时间：
2014-08-21 15:07:24
阅读次数：
346
Hadoop HDFS文件常用操作及注意事项1.Copy a file from the local file system to HDFSThe srcFile variable needs to contain the full name (path + file name) of the fi...
分类：
其他好文 时间：
2014-08-21 12:50:04
阅读次数：
224
1.Copy a file from the local file system to HDFSThe srcFile variable needs to contain the full name (path + file name) of the file in the local file s...
分类：
其他好文 时间：
2014-08-21 11:24:34
阅读次数：
242
hadoop是基于java的数据计算平台，引入第三方库，例如C语言实现的开发包将会大大增强数据分析的效率和能力。 通常在是用一些工具的时候都要用到一些配置文件、资源文件等。接下来，借一个例子来说明hadoop上面如何使用JNI、以及调用资源文件。首先介绍一下ICTClass，ICTClass是中国科...
分类：
其他好文 时间：
2014-08-21 11:07:13
阅读次数：
265
hive partitions hdfs 内部表 外部表 view...
分类：
其他好文 时间：
2014-08-20 19:39:52
阅读次数：
191
以下程序在hadoop1.2.1上测试成功。
本例先将源代码呈现，然后详细说明执行步骤，最后对源代码及执行过程进行分析。
一、源代码
package org.jediael.hadoopdemo.wordcount;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop...
分类：
其他好文 时间：
2014-08-20 16:30:42
阅读次数：
243
以前写过一篇文章，介绍通过 Java 的 Runtime 类执行操作系统命令行程序：Java调用linux系统shell执行命令。最近项目中又有需要用这个方法，在使用过程中遇到了一些新的问题，感觉以前没有弄清楚，故在此做补充学习记录。
先说明一下这次的需求，在 Java 程序中控制 Hadoop 命令执行 MapReduce 作业，并获取其输出内容。本来没有什么特殊，但由于 MR 执行的...
分类：
编程语言 时间：
2014-08-20 16:24:02
阅读次数：
368
原理：Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer。Mapper和Reducer都是可执行文件，它们从标准输入读入数据（一行一行读）， 并把计算结果发给标准输出。Streaming工具会创建一个Map/Re...
分类：
其他好文 时间：
2014-08-20 16:16:52
阅读次数：
234
