超人学院Hadoop大数据资源分享? ?Hadoop源码分析完整版?http://yunpan.cn/cwpjVnNDSRDs5? ?9d2d 更多精彩内容请关注：http://bbs.superwu.cn 关注超人学院微信二维码：...
分类：
其他好文 时间：
2015-06-09 17:53:29
阅读次数：
177
从前面的图中，我们可以发现Task有很多内部类，并拥有大量类成员变量，这些类配合Task完成相关的工作，如下图。
MapOutputFile管理着Mapper的输出文件，它提供了一系列get方法，用于获取Mapper需要的各种文件，这些文件都存放在一个目录下面。
我们假设传入MapOutputFile的JobID为job_200707121733_0003，TaskID为task...
分类：
其他好文 时间：
2015-06-09 17:21:02
阅读次数：
117
视图
隐含参数和方法也可以定义隐式转换，称作视图。由类型S到类型T的视图由一个函数类型为S=>T或(=>S)=>T的隐含值或一个可以转变为该类型的值定义。
视图在两种情况下应用。
1. 如果表达式e类型为T，且T与表达式的期望类型不一致。这种情况下将会搜索一个隐含的v，v可以应用到e且结果类型与pt一致。搜索的形式类似于隐含参数，隐含作用域类似于T => pt。如果找到了这样一个视图，则表达...
分类：
其他好文 时间：
2015-06-09 17:20:08
阅读次数：
129
提供以下两种实现方式：a继承org.apache.hadoop.hive.ql.exec.UDF类
代码包为:packageorg.apache.hadoop.hive.ql.udf
实现evaluate方法，根据输入参数和返回参数类型，系统自动转换到匹配的方法实现上。
例如：
? UDFTestLength.java:
importorg.apache.had...
分类：
其他好文 时间：
2015-06-09 17:19:18
阅读次数：
122
Stream Grouping定义了一个流在Bolt任务间该如何被切分。这里有Storm提供的6个Stream Grouping类型：
1. 随机分组（Shuffle grouping）：随机分发tuple到Bolt的任务，保证每个任务获得相等数量的tuple。
2. 字段分组（Fields grouping）：根据指定字段分割数据流，并分组。例如，根据“user-id”字段，相同“u...
分类：
其他好文 时间：
2015-06-09 17:18:08
阅读次数：
98
Docker 在Centos 6.5 X64下安装
下载epel
wget http://ftp.sjtu.edu.cn/fedora/epel/6/i386/epel-release-6-8.noarch.rpm
安装epel
rpm -ivh epel-release-6-8.noarch.rpm
安装docker-io
yum -y install docker-io
...
分类：
其他好文 时间：
2015-06-09 17:16:29
阅读次数：
118
1. 安装说明
l Zookeeper3.4.5集群已部署(192.168.210.95\192.168.210.86 部署手册见zookeeper安装手册)
l Hbase版本号 0.96.1
l 操作系统Red HatEnterprise Linux Server release 5.5 (Tikanga)
2. 安装步骤
1) 下载...
分类：
其他好文 时间：
2015-06-09 17:15:57
阅读次数：
98
抽象数据类型是描述数据结构的一种理论工具。在介绍抽象数据类型之前我们先介绍一
下数据类型的基本概念。
数据类型（data type）是一组性质相同的数据元素的集合以及加在这个集合上的一组操
作。例如Java 语言中就有许多不同的数据类型，包括数值型的数据类型、字符串、布尔型
等数据类型。以Java 中的int 型为例，int 型的数据元素的集合是[-2147483648,214748364...
分类：
其他好文 时间：
2015-06-09 17:15:33
阅读次数：
148
（要让集群正常工作至少需要3个主节点，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下）
192.168.1.160:7000
192.168.1.160:7001
192.168.1.160:7002
192.168.1.160:7003
192.168.1.160:7004
192.168.1.16...
分类：
其他好文 时间：
2015-06-09 17:15:01
阅读次数：
165
内核调用机制
从图3-3可以看出Solr1.3服务器包含一个实现基本功能的核心API，也可称之为内核。所有功能的实现都通过对内核API的调用来实现。Solr1.3的内核API提供的接口具有高内聚低耦合的特点。低耦合主要体现在仅仅通过一个API函数（execute）就可以实现包括信息查询和索引管理的功能。execute函数调用格式如图3-3所示。
...
分类：
其他好文 时间：
2015-06-09 17:14:47
阅读次数：
128
