Explain
Explain是Pig提供的调试工具,使用explain可以输出Pig Lation的执行计划。值得一提的是,explain支持-dot选项,将执行计划以DOT格式输出, (DOT是一种图形描述语言,请参考http://zh.wikipedia.org/zh/DOT%E8%AF%AD%E8%A8%80)
代码实现详见org.apache.pig.impl.plan.DotPla...
分类:
其他好文 时间:
2014-05-07 06:03:35
阅读次数:
350
本文是Pig系统分析系列中的最后一篇了,主要讨论如何扩展Pig功能,不仅介绍Pig本身提供的UDFs扩展机制,还从架构上探讨Pig扩展可能性。
补充说明:前两天同事发现twitter推动的Pig On Spark项目:Spork,准备研究下。
UDFs
通过UDFs(用户自定义函数),可以自定义数据处理方法,扩展Pig功能。实际上,UDFS除了使用之前需要register/define外,和...
分类:
其他好文 时间:
2014-05-07 05:10:44
阅读次数:
567
这里介绍一下hadoop的组成, hadoop主要由两部分组成,,一个是hdfs,另一个是mapreduce
这两个部分在hadoop 2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本中有了一个新名字yarn.
dfs 主要用来启动 namenode 和 datanode, namenode既是是传说中的matser, datanod...
分类:
其他好文 时间:
2014-05-07 04:33:35
阅读次数:
359
MapReduce2.0(Yarn)
MapReduce2.0是在Hadoop0.23开始采用的,叫做MapReduce2.0或者MRv2或者Yarn。
MRv2的主要思想是把jobtracker的任务分为两个基本的功能,一个是资源管理,一个是任务监控,这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器(ResourceManager)和每个应用程序的应用...
分类:
其他好文 时间:
2014-05-07 04:05:06
阅读次数:
272
一直想学习IOS手机开发,今天开始涉入该领域。好吧,先从基础开始——搭建开发环境。
系统: Ubuntu 12.04 LTS 64 位
环境搭建步骤:
1、安装编译器
sudo apt-get install gnustep*
2、配置环境变量
# set GNUstep
GNUSTEP_ROOT=/usr/share/GNUstep/Makefiles
export GNUSTE...
分类:
其他好文 时间:
2014-05-07 03:41:47
阅读次数:
356
Ubuntu14下编译64位Hadoop2.4...
分类:
其他好文 时间:
2014-05-07 03:07:30
阅读次数:
256
大体的步骤
创建project 添加junit包 创建一个待测试的类JDemo.java 为JDemo.java创建一个Junit测试用例JDemoTest.java
运行测试
1. 创建一个project :【new】-》【project】 (以下截图是操作过程的主要步骤,并非所有)
2....
分类:
系统相关 时间:
2014-05-06 19:01:44
阅读次数:
445
source/etc/profilegroupaddbeamkdir/datauseradd-d/data/weblogic-gbeaweblogicecho‘wls!@#$%‘|passwd--stdinweblogicJAVA_HOME=/data/weblogic/jdk-7u55-linux-x64CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jarPATH=$JAVA_HOME/bin:$PATHexportJAVA_HOMECLASS..
分类:
Web程序 时间:
2014-05-06 17:11:45
阅读次数:
430
whoami:当前登录到系统的有效用户who:显示当前系统上登录的用户都有哪些-r:显示当前的运行级别的who|grep"hadoop"
echo$?w:显示谁登陆了,并且正在干什么。(显示的信息比who更详细)last:显示登录的日志,记录登录历史和重启历史-n#:只显示#次的登录信息lastb:/var/log/..
分类:
系统相关 时间:
2014-05-06 16:05:21
阅读次数:
506
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
最常用的就是多表关联查询,主要讲解下join、outer join和semi join的具体使用。
join是最简单的关联操作,两边关联只取交集。
outer join分为left outer join、rig...
分类:
其他好文 时间:
2014-05-06 15:01:38
阅读次数:
269