在hadoop中很多地方都用到了servlet，并且使用jetty作为servlet的容器来提供http的服务，其主要是通过org.apache.hadoop.http.HttpServer类实现的，HttpServer类是对Jetty的简单封装，通过调用HttpServer类的addServlet方法增加可以实现增加servlet到jetty的功能：publicvoidad..
分类：
其他好文 时间：
2014-12-23 06:52:41
阅读次数：
310
中国大数据技术大会（Big Data Technology Conference，BDTC）是目前国内最具影响、规模最大的大数据领域的技术盛会。大会的前身是Hadoop中国云计算大会（Hadoop in China，HiC）。从2008年仅60人参加的技术沙龙到当下的数千人技术盛宴，作为业内极具实战价值的专业交流平台，已经成功举办七届的中国大数据技术大会忠实地描绘了大数据领域内的技术热点，沉淀了行业实战经验，见证了整个大数据生态圈技术的发展与演变。...
分类：
其他好文 时间：
2014-12-19 08:10:46
阅读次数：
189
背景线上有很多的数据库在运行，后台需要一个分析用户行为的数据仓库。目前比较流行的是mysql和hadoop平台。现在的问题是，如何将线上的mysql数据实时的同步到hadoop中，以供分析。这篇文章就是利用tungsten-replicator来实现。环境由于tungsten-replicator依...
分类：
数据库 时间：
2014-12-18 21:56:29
阅读次数：
714
1.定制Writable类型Hadoop中有一套Writable实现，例如：IntWritable、Text等，但是，有时候可能并不能满足自己的需求，这个时候，就需要自己定制Writable类型。定制分以下几步：需要实现WritableComparable接口，因为Writable常常作为健值对出现...
分类：
其他好文 时间：
2014-12-16 20:41:04
阅读次数：
201
在前面的博文《Hadoop中WritableComparable 和 comparator》中，对于WritableComparator说的不够细致，下面说说具体的实现原理！1.WritableComparator主要提供了两个功能：提供了对原始compara()方法的一个默认实现，默认实现是先反序...
分类：
其他好文 时间：
2014-12-16 14:52:40
阅读次数：
148
1.BytesWritable定义ByteWritable是对二进制数据组的封装。它的序列化格式为一个用于指定后面数据字节数的整数域（4个字节），后跟字节本身。举个例子，假如有一个数组bytes，里面有两个byte，bytes[0]=3，bytes[1]=5,那么，数组序列化后，其返回一个字节数组，...
分类：
其他好文 时间：
2014-12-15 16:56:31
阅读次数：
169
1.ASCII、Unicode、UFT-8在看Text类型的时候，里面出现了上面三种编码，先看看这三种编码：ASCII是基于拉丁字母的一套电脑编码系统。它主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统，并等同于国际标准ISO/IEC 646。ASCII是7位字符集，是美国标准信息...
分类：
其他好文 时间：
2014-12-14 19:53:01
阅读次数：
311
1）NameNode、DataNode和Client NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文.....
分类：
其他好文 时间：
2014-12-13 16:28:52
阅读次数：
148
在Hadoop Common模块中除了之前我所分析过的4大主模块，还有一个也同样是非常重要的内容，就是Security---安全模块。不过，我只是简单的分析他的实现机制，并不会涉及代码的分析。同时，我会通过对于Hadoop中采取的安全机制方法延伸到当下主流的一些安全认证方法，比如LDAP，SSL，Oauth Token等等。、
1）Hadoop Security
Hadoop的Security...
分类：
其他好文 时间：
2014-12-13 12:27:21
阅读次数：
294
1.Writable简单介绍在前面的博客中，经常出现IntWritable，ByteWritable.....光从字面上，就可以看出，给人的感觉是基本数据类型 和 序列化！在Hadoop中自带的org.apache.hadoop.io包中有广泛的Writable类可供选择。它们的层次结构如下图所示：...
分类：
其他好文 时间：
2014-12-12 20:39:34
阅读次数：
187
