码迷,mamicode.com
首页 >  
搜索关键字:hadoop 环境搭建    ( 22808个结果
Pig系统分析(7)-Pig实用工具类
Explain Explain是Pig提供的调试工具,使用explain可以输出Pig Lation的执行计划。值得一提的是,explain支持-dot选项,将执行计划以DOT格式输出, (DOT是一种图形描述语言,请参考http://zh.wikipedia.org/zh/DOT%E8%AF%AD%E8%A8%80) 代码实现详见org.apache.pig.impl.plan.DotPla...
分类:其他好文   时间:2014-05-07 06:03:35    阅读次数:350
Pig系统分析(8)-Pig可扩展性
本文是Pig系统分析系列中的最后一篇了,主要讨论如何扩展Pig功能,不仅介绍Pig本身提供的UDFs扩展机制,还从架构上探讨Pig扩展可能性。 补充说明:前两天同事发现twitter推动的Pig On Spark项目:Spork,准备研究下。 UDFs 通过UDFs(用户自定义函数),可以自定义数据处理方法,扩展Pig功能。实际上,UDFS除了使用之前需要register/define外,和...
分类:其他好文   时间:2014-05-07 05:10:44    阅读次数:567
Hadoop 组成
这里介绍一下hadoop的组成, hadoop主要由两部分组成,,一个是hdfs,另一个是mapreduce 这两个部分在hadoop 2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本中有了一个新名字yarn. dfs 主要用来启动 namenode 和 datanode, namenode既是是传说中的matser, datanod...
分类:其他好文   时间:2014-05-07 04:33:35    阅读次数:359
Hadoop MapReduce2.0(Yarn)
MapReduce2.0(Yarn) MapReduce2.0是在Hadoop0.23开始采用的,叫做MapReduce2.0或者MRv2或者Yarn。 MRv2的主要思想是把jobtracker的任务分为两个基本的功能,一个是资源管理,一个是任务监控,这两个任务分别用不同的进程来运行。这个想法使拥有一个全局的资源管理器(ResourceManager)和每个应用程序的应用...
分类:其他好文   时间:2014-05-07 04:05:06    阅读次数:272
Objective-c学习笔记—— Ubuntu 环境搭建 + HelloWorld
一直想学习IOS手机开发,今天开始涉入该领域。好吧,先从基础开始——搭建开发环境。 系统: Ubuntu 12.04 LTS  64 位 环境搭建步骤: 1、安装编译器 sudo apt-get install gnustep* 2、配置环境变量 # set GNUstep GNUSTEP_ROOT=/usr/share/GNUstep/Makefiles export GNUSTE...
分类:其他好文   时间:2014-05-07 03:41:47    阅读次数:356
Ubuntu14下Hadoop开发<2> 编译64位Hadoop2.4
Ubuntu14下编译64位Hadoop2.4...
分类:其他好文   时间:2014-05-07 03:07:30    阅读次数:256
junit --Eclipse下的环境搭建
大体的步骤    创建project    添加junit包    创建一个待测试的类JDemo.java    为JDemo.java创建一个Junit测试用例JDemoTest.java    运行测试     1. 创建一个project  :【new】-》【project】   (以下截图是操作过程的主要步骤,并非所有) 2....
分类:系统相关   时间:2014-05-06 19:01:44    阅读次数:445
一次线上用于某某中心系统线上所需环境搭建部署weblogic12C过程
source/etc/profilegroupaddbeamkdir/datauseradd-d/data/weblogic-gbeaweblogicecho‘wls!@#$%‘|passwd--stdinweblogicJAVA_HOME=/data/weblogic/jdk-7u55-linux-x64CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jarPATH=$JAVA_HOME/bin:$PATHexportJAVA_HOMECLASS..
分类:Web程序   时间:2014-05-06 17:11:45    阅读次数:430
linux之几个命令
whoami:当前登录到系统的有效用户who:显示当前系统上登录的用户都有哪些-r:显示当前的运行级别的who|grep"hadoop" echo$?w:显示谁登陆了,并且正在干什么。(显示的信息比who更详细)last:显示登录的日志,记录登录历史和重启历史-n#:只显示#次的登录信息lastb:/var/log/..
分类:系统相关   时间:2014-05-06 16:05:21    阅读次数:506
Hive中join, outer join, semi join区别
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 最常用的就是多表关联查询,主要讲解下join、outer join和semi join的具体使用。 join是最简单的关联操作,两边关联只取交集。 outer join分为left outer join、rig...
分类:其他好文   时间:2014-05-06 15:01:38    阅读次数:269
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!