获取指定日期月份的第一天，你可以使用DATEADD函数，减去指定日期的月份过去了的天数，即可。CREATEFUNCTION[dbo].[udf_FirstDayOfMonth](@DateDATE)RETURNSDATETIMEASBEGINRETURNCAST(DATEADD(day,1-DAY(...
分类：
其他好文 时间：
2014-08-06 17:58:01
阅读次数：
184
可以作为一个随身参考1、更简单的挖掘大规模数据集而发明。可使用用户定义语言UDF进行修改运行pig脚本 pig script.piggrunt自动补全机制 tab键 创建autocomplete文件，常用单词或文件路径 quit退出2、示例 计算年度最高气温 --表示注释1)records = LO...
分类：
其他好文 时间：
2014-07-28 14:49:23
阅读次数：
339
1.配置环境
1.引入jar包：hive-exec-0.8.0.jar 和 hadoop-core-0.20.2.jar
2.编写udf函数
1.extends UDF
2.重新定义UDF的evaluate函数。
package com.qunar.hiveudf;
import java.text.SimpleDateFormat;
import java.util.Calen...
分类：
其他好文 时间：
2014-07-23 20:58:47
阅读次数：
217
最近项目中遇到了存储在HDFS上的数据格式不对，是由于数据中带有\r\n的字符，程序处理的时候没有考虑到这些情况。历史数据大概有一年的时间，需要把错误的数据或者重复的数据给删除了，保留正确的数据，项目中使用Pig来进行数据处理，所以我写了一个UDF的JAVA类去过滤那些错误的数据，把错误的数据和正确...
分类：
其他好文 时间：
2014-07-18 17:33:40
阅读次数：
246
案例一：trackinfo，基础表处理常用的低性能UDF背景描述：日志信息10分钟加载一次到实时日志表trackreal中（按小时分区），为了保证实时性，在加载的过程中并没有做任何的过滤处理，加载到trackreal表后再过滤非法数据、爬虫数据等，生成按天增量日志表trackinfo，然后根据不同的...
分类：
其他好文 时间：
2014-07-17 13:09:44
阅读次数：
226
在hive上启动servicehive--servicehiveserver在eclipse中进行开发导入需要的jar包（我这个导入的是udf和jdbc连接hive需要的jar包，基本是最简的了）我的代码，hive的语法就不说了，大家可以修改例子中的sql来进行自己的业务。我的hive没有设置用户名，密码。所以Connectioncon=..
分类：
数据库 时间：
2014-07-08 11:20:04
阅读次数：
411
1、Working with UDF(user defined function) pig能够支持两种类型的UDFs：eval和load/store， 其中load/store的自定义函数主要是用来加载和保存特定的数据格式； eval自定义函数主要用来进行常规的数据转换。1.1 eval 如...
分类：
其他好文 时间：
2014-06-18 23:43:45
阅读次数：
495
Hive的TRANSFORM关键字提供了在SQL中调用自写脚本的功能，适合实现Hive中没有的功能又不想写UDF的情况。例如，按日期统计每天出现的uid数，通常用如下的SQLSELECT date, count(uid)FROM xxxGROUP BY date但是，如果我想在reduce阶段对每天...
分类：
其他好文 时间：
2014-06-15 09:03:50
阅读次数：
243
1、文件包下载http://pan.baidu.com/s/1qW9DHYc2、安装gcc -fPIC
-Wall -I/usr/local/mysql/include -I. -shared udf_redis.c cJSON.c -o
udf_redis.socp udf_redis.so /u...
分类：
数据库 时间：
2014-06-12 16:36:09
阅读次数：
362
