dst = distinct data；DISTINCT只能对整个记录（整行）去重，不能在字段级别去重。触发reduce阶段data = load 'data';distinct data;
分类：
其他好文 时间：
2015-06-07 23:25:54
阅读次数：
199
注册UDFdo.pig的内容如下：register /xx/yy.jardata = load 'data';result = foreach data generate aa.bb.Upper($0);dump result; register的路径可以是本地路径，也可以是hdfs路径regis....
分类：
其他好文 时间：
2015-06-07 23:24:54
阅读次数：
201
Pig中的模式可以是用户显示声明的，也可以是Pig通过用户的使用方式猜测的。Pig对模式的认知在Pig Latin脚本执行的不同阶段可能是不同的。下面的语句，用户显示声明了模式：3个字段，分别是name、age、address，它们的类型也确定了。 data = load 'data' as (na...
分类：
其他好文 时间：
2015-06-07 23:22:57
阅读次数：
156
some = sample data 0.1遍历整个数据集，获取指定比例的行数的数据，获取的数据不确定，条数也不准确。内部重写为filter data by random() <= 0.1抽取100行数据data = load 'data';grpd = group data all;sums = ...
分类：
其他好文 时间：
2015-06-07 23:07:19
阅读次数：
98
MySQL 导入数据MySQL中可以使用两种简单的方式来导入MySQL导出的数据。使用 LOAD DATA 导入数据MySQL 中提供了LOAD DATA INFILE语句来插入数据。 以下实例中将从当前目录中读取文件 dump.txt ，将该文件中的数据插入到当前数据库的 mytbl 表中。mys...
分类：
数据库 时间：
2015-05-31 21:37:11
阅读次数：
172
当时执行hive的导入数据load data inpath "XXXX" into table.....的时候发现总是导不进去，最后试了下简单的从Linux 到 HDFS上传文件发现都不成功，提示datanode的问题。后来省事就直接将以前成功安装的hadoop-2.6.0的文件夹整个替代掉再bin...
分类：
其他好文 时间：
2015-05-22 00:22:40
阅读次数：
127
outfile 导出文件select name from t1 into outfile "/tmp/test.txt"infile 导入文件导入到表t1中的name列load data infile "/tmp/test.txt" into table t1(name);导入和导出的时候可以关闭索...
分类：
数据库 时间：
2015-05-21 23:59:03
阅读次数：
341
一、 从文件系统导入数据源存放路径： /root/datahive> load data local inpath "/root/data" overwrite intotable t1;Loading data to table default.t1Table default.t1 stats: ...
分类：
其他好文 时间：
2015-05-18 18:30:12
阅读次数：
442
一、? ???从文件系统导入 数据源存放路径： /root/data hive> load data local inpath "/root/data" overwrite intotable t1;?Loading data to table default.t1Table default.t1 stats: [numFiles=1, numR...
分类：
其他好文 时间：
2015-05-18 14:52:22
阅读次数：
143
1：目前在用的是社区版的infobright，不支持DML功能，只能用LOAD DATA方式导入数据。如果元数据中有特殊控制字符，导入过程中经常会报错2：设置Reject File导入之前，设定 @BH_REJECT_FILE_PATH 和 @BH_ABORT_ON_COUNT 就可以忽略多少条导入...
分类：
其他好文 时间：
2015-05-15 13:32:13
阅读次数：
165
