Pig Latin UDF语句
REGISTER 在Pig运行时环境中注册一个JAR文件
DEFINE 为UDF、流式脚本或命令规范新建别名
Pig Latin命令类型
kill 中止某个MapReduce任务
exec 在一个新的Grunt shell程序中以批处理模式运行一个脚本
run 在当前Grunt外壳程序中运行程序
quit 退出解释器
...
分类：
其他好文 时间：
2014-08-12 19:06:04
阅读次数：
362
Hive 运行架构
由Facebook开源，最初用于解决海量结构化的日志数据统计问题：ETL工具；
构建于Hadoop的HDFS和MapReduce智商，用于管理和查询结构化/非结构化数据的数据仓库；
设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据：
使用HQL作为查询接口；
使用HDFS作为存储底层；...
分类：
其他好文 时间：
2014-08-12 19:05:44
阅读次数：
314
今天没事干，看了以下Hadoop中的MultipleOutput使用，出现错误. 错误信息： 14/08/12 12:44:02 WARN util.NativeCodeLoader: Unable to load native-ha：oop library for your platform... using builtin-java c...
分类：
其他好文 时间：
2014-08-12 17:46:24
阅读次数：
233
测试环境介绍：Hadoop1.0.3升级到Hadoop2.4.1当前老环境（三副本环境）：Namenode192.168.1.10Datanode192.168.1.11（SecondNamenode）Datanode192.168.1.12Datanode192.168.1.13由于Hadoop2.4.1支持HA集群，所有需要在增加一台Namenode机器新环境规划如下：Namenode192.168.1...
分类：
其他好文 时间：
2014-08-12 17:35:54
阅读次数：
299
实施Hadoop集群--分布式安装Hadoop 说明:以Ubuntu配置为例,其中与CentOS不同之处会给出详细说明 现有三台服务器:其IP与主机名对应关系为:192.168.139.129 master #NameNode/JobTrackerr结点
192.168.139.132 slave01 #DataNode/TaskTracker结点
192.168.139.137 slave...
分类：
其他好文 时间：
2014-08-12 17:28:24
阅读次数：
297
HBaseHelperpackage util;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HT...
分类：
其他好文 时间：
2014-08-12 16:24:54
阅读次数：
327
2014-08-12HDFS存储过慢，内存过高而且不释放网络方面：使用 netstat-n |awk'/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 查看网络情况：情况如下： CLOSE_WAIT 102 FIN_WAIT2 2 ESTABLIS...
分类：
其他好文 时间：
2014-08-12 13:07:14
阅读次数：
601
目标：配置一个hadoop1.2.1测试环境用的JDK是:jdk-7u65-linux-x64.gz选的hadoop是：hadoop-1.2.1.tar.gz均来源Apache和oracle网站主机规划：Linux版本：Centos6.5x64位/boot：用来存放与Linux系统启动有关的程序，比如启动引导装载程序等，建议大小为100MB。/usr：用来存放Linu..
分类：
系统相关 时间：
2014-08-12 10:30:54
阅读次数：
436
采用ftp或在线wget方式获取jdk安装包，放置于新创建的/usr/java目录中,解压安装[hadoop@masterjava]$sudotar-zxvfjdk-7u65-linux-x64.gz配置/etc/profile里的Java参数#JAVAenvironment
exportJAVA_HOME=/usr/java/jdk1.7.0_65
exportCLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JA..
分类：
编程语言 时间：
2014-08-12 10:30:14
阅读次数：
278
在/usr目录下建立hadoop文件夹,赋予hadoop用户权限(master)[hadoop@masterusr]$sudomkdirhadoop
[hadoop@masterusr]$ls-al
total156
drwxr-xr-x.2rootroot4096Jul3100:17hadoop
[hadoop@masterusr]$sudochown-Rhadoop:hadoophadoop
[hadoop@masterusr]$ls-al
total156
drwxr-xr..
分类：
其他好文 时间：
2014-08-12 10:29:54
阅读次数：
245
