Explain
Explain是Pig提供的调试工具,使用explain可以输出Pig Lation的执行计划。值得一提的是,explain支持-dot选项,将执行计划以DOT格式输出, (DOT是一种图形描述语言,请参考http://zh.wikipedia.org/zh/DOT%E8%AF%AD%E8%A8%80)
代码实现详见org.apache.pig.impl.plan.DotPla...
分类:
其他好文 时间:
2014-05-07 06:03:35
阅读次数:
350
今天说点基础的东西,说说如何通过SchemaExport跟Hibernate的配置文件生成表结构。其实方法非常简单,只需要两个配置文件,两个Java类就可以完成。
首先要生成表,得先有实体类,以Person.java为例:
/**
*
* @author Administrator
* @hibernate.class table="T_Person"
*/
public...
分类:
系统相关 时间:
2014-05-07 05:30:24
阅读次数:
358
这里介绍一下hadoop的组成, hadoop主要由两部分组成,,一个是hdfs,另一个是mapreduce
这两个部分在hadoop 2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本中有了一个新名字yarn.
dfs 主要用来启动 namenode 和 datanode, namenode既是是传说中的matser, datanod...
分类:
其他好文 时间:
2014-05-07 04:33:35
阅读次数:
359
ubuntu 14.04 VSFTPD 匿名FTP服务器 配置文件
可以提供上传,下载,修改,等操作
# Example config file /etc/vsftpd.conf
#
# The default compiled in settings are fairly paranoid. This sample file
# loosens things up a bit, to mak...
分类:
其他好文 时间:
2014-05-07 04:26:57
阅读次数:
488
很多人都知道java的反射机制和注解技术。反射(Reflection)就是加载类,并解剖出类的各个组成部分;而Annotation 其实就是代码里的特殊标记, 它用于替代配置文件,也就是说,传统方式通过配置文件告诉类如何运行,有了注解技术后,开发人员可以通过注解告诉类如何运行。那么两者结合能够产生出什么?
首先来看下面一个程序
{CSDN:CODE:326877}
回想我们以前产生Con...
分类:
编程语言 时间:
2014-05-07 03:55:22
阅读次数:
326
Ubuntu14下编译64位Hadoop2.4...
分类:
其他好文 时间:
2014-05-07 03:07:30
阅读次数:
256
马哥课程的学习任务:RHCE+RHCA+shell编程+MySQL+Web集群+NoSQL+Hadoop+Hbase+Openstack。1基础(RHCE):RH033RH133RH2532RHCA:RH401RH423(LDAP)RH442(系统调优)RH436RHS3333MySQL4NoSQL5系统工程师:是指具备较高专业技术水平,能够分析商业需求,并使用各种系统平台和服务器..
分类:
系统相关 时间:
2014-05-06 17:15:49
阅读次数:
479
安装apache前需要安装gcc,gcc-c++,这里apache2.2.26需要安装Apr与Apr-util.这里使用源码安装apache安装路径:/usr/local/apache2apache是模块化软件安装前可以根据自己的需求制定参数安装这里我们配置几个常用的参数1、制定安装位置2、制定配置文件安装3、制定zlib库文件的位置..
分类:
系统相关 时间:
2014-05-06 16:56:49
阅读次数:
698
whoami:当前登录到系统的有效用户who:显示当前系统上登录的用户都有哪些-r:显示当前的运行级别的who|grep"hadoop"
echo$?w:显示谁登陆了,并且正在干什么。(显示的信息比who更详细)last:显示登录的日志,记录登录历史和重启历史-n#:只显示#次的登录信息lastb:/var/log/..
分类:
系统相关 时间:
2014-05-06 16:05:21
阅读次数:
506
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
最常用的就是多表关联查询,主要讲解下join、outer join和semi join的具体使用。
join是最简单的关联操作,两边关联只取交集。
outer join分为left outer join、rig...
分类:
其他好文 时间:
2014-05-06 15:01:38
阅读次数:
269