Pig
pig 是基于hadoop的一个数据处理框架.
MapReduce是使用java开发的。Pig有一套自己的数据处理语言。Pig的数据处理过程要转化为MR 来运行。
Pig的数据处理语言是数据流方式，类似于初中的数学题，需要一步一步解，最终得到结果。
Pig基本数据类型：int、long、float、double、chararray、bytearray
复合数据类型：Map、Tuple(类似...
分类：
其他好文 时间：
2015-06-05 12:19:49
阅读次数：
116
What is HDInsight? Microsoft Azure HDInsight 是基于 Hortonoworks Data Platform (HDP) 的 Hadoop 集群，包括Storm, HBase, Pig, Hive, Sqoop, Oozie, Ambari等（具体的组件请参...
分类：
其他好文 时间：
2015-06-01 18:15:16
阅读次数：
201
编写一个动物基类，动物基类的属性有跑，飞，游泳三个，让猪、鱼、鸟这三个类继承动物类，但是每个对应的只能有自己特有的属性，比如猪肯定不能飞（飞猪？肥猪）！#include "stdafx.h"
#include
using namespace std;enum ANIMAL_TYPES
{
fish,
bird,
pig,
}; //枚举template...
分类：
其他好文 时间：
2015-05-31 12:26:47
阅读次数：
130
用户自定义函数（UDF）?? public abstract class EvalFunc<T> {?? ??public abstract T exec(Tuple input) throws IOException;?? ??public List<FuncSpec> getAvgToFuncMapping() throws FrontendExce...
分类：
其他好文 时间：
2015-05-27 19:29:04
阅读次数：
176
用户自定义函数（UDF）publicabstractclassEvalFunc<T>{publicabstractTexec(Tupleinput)throwsIOException;publicList<FuncSpec>getAvgToFuncMapping()throwsFrontendException;publicFuncSpecoutputSchema()throwsFrontendException;}输入元组的字段包含传递给函..
分类：
其他好文 时间：
2015-05-27 19:18:13
阅读次数：
182
用户自定义函数（UDF）
public abstract class EvalFunc {
public abstract T exec(Tuple input) throws IOException;
public List getAvgToFuncMapping() throws FrontendException;
public FuncSpec outp...
分类：
其他好文 时间：
2015-05-27 19:09:35
阅读次数：
112
用户自定义函数（UDF）public abstract class EvalFunc {public abstract T exec(Tuple input) throws IOException;public List getAvgToFuncMapping() throws FrontendEx...
分类：
其他好文 时间：
2015-05-27 18:56:32
阅读次数：
161
并行处理：可以在很多语句中指定reducer的数量group,join,cogroup,cross,distinct,order(复习：reduce的任务个数设置为稍小于集群中的reduce任务槽数)参数替换：在pig语句中使用$加变量名的方式使用外部定义的变量值，在运行时可以通过"-paraminput=”设置变量的值，或者通过"-..
分类：
其他好文 时间：
2015-05-26 19:07:21
阅读次数：
142
并行处理： 可以在很多语句中指定reducer的数量
group, join, cogroup, cross, distinct, order
(复习：reduce的任务个数设置为稍小于集群中的reduce任务槽数)
参数替换：在pig语句中使用$加变量名的方式使用外部定义的变量值，在运行时可以通过"-param input=”设置变量的值，
或者通过"-param_f...
分类：
其他好文 时间：
2015-05-26 18:56:02
阅读次数：
123
