背景： 写了一个UDF A.class放在A.jar里。A.class依赖B.jar中的B.class。B.class又依赖C.jar中的C.class。 使用add jar把A.jar、B.jar、C.jar把jar包加入classpath ?hive脚本里执行create temporary function X...
分类：
编程语言 时间：
2014-10-31 22:23:06
阅读次数：
281
想要从日志数据中分析一下操作系统、浏览器、版本使用情况，但是hive中的函数不能直接解析useragent,于是可以写一个UDF来解析。useragent用于表示用户的当前操作系统，浏览器版本信息，形如：
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 S...
分类：
其他好文 时间：
2014-10-30 17:01:50
阅读次数：
218
目前 Spark SQL 不支持自定义UDF ，底层 SQL 引擎用的 catalyst 。
在SqlContext 中 有一个 Analyzer
@transient
protected[sql]
lazy
val
analyzer:
Analyzer =
new
Analyzer(catalog, Em...
分类：
数据库 时间：
2014-09-13 22:50:26
阅读次数：
339
使用java开发一个helloworld级别UDF，打包成udf.jar，存放在/home/hadoop/lib下，代码如下：package com.luogankun.udf;import org.apache.hadoop.hive.ql.exec.UDF;public class HelloU...
分类：
数据库 时间：
2014-09-13 19:57:35
阅读次数：
401
先上传dll文件到任意目录，如：D:/RECYCLER/lib_mysqludf_sys.dll导入dll,根据版本导入到windows或mysql插件目录(一般执行select@@plugin_dir可看到插件目录具体路径)：selectload_file(‘D:/RECYCLER/lib_mysqludf_sys.dll’)intodumpfile’c:/windows/lib_mysqludf_sys.dll’..
分类：
数据库 时间：
2014-09-01 10:53:33
阅读次数：
268
使用过hive的都知道，可以通过指定-i参数或者配置.hiverc来设置hive启动时初始执行的一些命令，比如可以把udf的定义写到.hiverc文件中。加载.hiverc的过程是在CliDriver类中定义的。具体的方法调用顺序：main--->run--->executeDriver----->processInitFiles---->p..
分类：
其他好文 时间：
2014-08-20 10:38:26
阅读次数：
295
Pig Latin UDF语句
REGISTER 在Pig运行时环境中注册一个JAR文件
DEFINE 为UDF、流式脚本或命令规范新建别名
Pig Latin命令类型
kill 中止某个MapReduce任务
exec 在一个新的Grunt shell程序中以批处理模式运行一个脚本
run 在当前Grunt外壳程序中运行程序
quit 退出解释器
...
分类：
其他好文 时间：
2014-08-12 19:06:04
阅读次数：
362
Hive UDF整理(可以直接在mysql上测试，hive中没有伪表，需要手动创建，反应慢)字符串函数字符串长度函数：length语法: length(string A)返回值: int说明：返回字符串A的长度举例：hive> select length(‘abcedfg’) from dual;7...
分类：
其他好文 时间：
2014-08-08 12:24:45
阅读次数：
466
