Explain
Explain是Pig提供的调试工具,使用explain可以输出Pig Lation的执行计划。值得一提的是,explain支持-dot选项,将执行计划以DOT格式输出, (DOT是一种图形描述语言,请参考http://zh.wikipedia.org/zh/DOT%E8%AF%AD%E8%A8%80)
代码实现详见org.apache.pig.impl.plan.DotPla...
分类:
其他好文 时间:
2014-05-07 06:03:35
阅读次数:
350
这里介绍一下hadoop的组成, hadoop主要由两部分组成,,一个是hdfs,另一个是mapreduce
这两个部分在hadoop 2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本中有了一个新名字yarn.
dfs 主要用来启动 namenode 和 datanode, namenode既是是传说中的matser, datanod...
分类:
其他好文 时间:
2014-05-07 04:33:35
阅读次数:
359
一直想学习IOS手机开发,今天开始涉入该领域。好吧,先从基础开始——搭建开发环境。
系统: Ubuntu 12.04 LTS 64 位
环境搭建步骤:
1、安装编译器
sudo apt-get install gnustep*
2、配置环境变量
# set GNUstep
GNUSTEP_ROOT=/usr/share/GNUstep/Makefiles
export GNUSTE...
分类:
其他好文 时间:
2014-05-07 03:41:47
阅读次数:
356
Ubuntu14下编译64位Hadoop2.4...
分类:
其他好文 时间:
2014-05-07 03:07:30
阅读次数:
256
集群安装配置Hadoop
集群节点:node4、node5、node6、node7、node8。具体架构:
node4
Namenode,secondnamenode,jobtracker
node5
Datanode,tasktracker
node6
Datanode,tasktracker...
分类:
其他好文 时间:
2014-05-07 02:52:47
阅读次数:
361
大体的步骤
创建project 添加junit包 创建一个待测试的类JDemo.java 为JDemo.java创建一个Junit测试用例JDemoTest.java
运行测试
1. 创建一个project :【new】-》【project】 (以下截图是操作过程的主要步骤,并非所有)
2....
分类:
系统相关 时间:
2014-05-06 19:01:44
阅读次数:
445
马哥课程的学习任务:RHCE+RHCA+shell编程+MySQL+Web集群+NoSQL+Hadoop+Hbase+Openstack。1基础(RHCE):RH033RH133RH2532RHCA:RH401RH423(LDAP)RH442(系统调优)RH436RHS3333MySQL4NoSQL5系统工程师:是指具备较高专业技术水平,能够分析商业需求,并使用各种系统平台和服务器..
分类:
系统相关 时间:
2014-05-06 17:15:49
阅读次数:
479
source/etc/profilegroupaddbeamkdir/datauseradd-d/data/weblogic-gbeaweblogicecho‘wls!@#$%‘|passwd--stdinweblogicJAVA_HOME=/data/weblogic/jdk-7u55-linux-x64CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jarPATH=$JAVA_HOME/bin:$PATHexportJAVA_HOMECLASS..
分类:
Web程序 时间:
2014-05-06 17:11:45
阅读次数:
430
whoami:当前登录到系统的有效用户who:显示当前系统上登录的用户都有哪些-r:显示当前的运行级别的who|grep"hadoop"
echo$?w:显示谁登陆了,并且正在干什么。(显示的信息比who更详细)last:显示登录的日志,记录登录历史和重启历史-n#:只显示#次的登录信息lastb:/var/log/..
分类:
系统相关 时间:
2014-05-06 16:05:21
阅读次数:
506
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
最常用的就是多表关联查询,主要讲解下join、outer join和semi join的具体使用。
join是最简单的关联操作,两边关联只取交集。
outer join分为left outer join、rig...
分类:
其他好文 时间:
2014-05-06 15:01:38
阅读次数:
269