应用UDF到记录
Aerospike C客户端API提供aerospike_key_apply()来应用一个用户定义函数到数据库中某记录。
在使用aerospike_key_apply()操作前,包含被应用函数的UDF模块,必须首先注册到Aerospike服务器。请参见【注册用户定义函数】章节来学习如何使用C
API注册,或阅读【aql手册】学习如何使用外部工具注册。
...
分类:
其他好文 时间:
2015-04-27 11:25:25
阅读次数:
260
public class TestHive {
private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
public static void main(String[] args) throws SQLException {
try {
Class.forName(driverNam...
分类:
数据库 时间:
2015-04-27 10:07:08
阅读次数:
156
1、为map中间输出启用压缩。 ? ? ? 一般对于中间输出压缩采用低压缩比,高压缩解压缩速度的压缩算法,如LZO,Snappy? ? ? set hive.exec.compress.intermediate=true; ? ? set mapred.map.output.compress...
分类:
其他好文 时间:
2015-04-27 08:20:51
阅读次数:
192
http://web.cse.ohio-state.edu/hpcs/WWW/HTML/publications/papers/TR-14-2.pdf (辅助参考:https://cwiki.apache.org/confluence/display/Hive/Correlation+Optimiz...
分类:
Web程序 时间:
2015-04-27 00:11:30
阅读次数:
233
注册用户定义函数
Aerospike C 客户端提供在数据库中注册、更新或移除一个用户定义函数(UDF)模块的能力。目前,用户定义函数仅支持LUA语言。
aerospike_udf_put() — 注册或更新UDF模块。aerospike_udf_remove() — 移除UDF模块。
下面的代码引用自示例目录【examples/basic_examples/udf】...
分类:
其他好文 时间:
2015-04-26 09:29:49
阅读次数:
229
前言由于最近开始涉及MR程序的编写,之前会一点HIVE,对MR接触不多,不论从原理还是实际操作上,都有些障碍,终于在今天柳暗花明,将这一过程记录下,与大家分享~环境准备在VM上搭建好LINUX虚拟机,并安装配置好HADOOP2.2.0,我这里是单节点的伪分布式在eclipse中安装hadoop插..
分类:
其他好文 时间:
2015-04-26 01:43:47
阅读次数:
161
Hive 的简单使用及调优参考文档 HIVE的使用 命令行界面 使用一下命令查看hive的命令行页面, hive --help --service cli 简化命令为hive –h 会输出下面的这些东西 -d,--define Variable subsitution to apply to hiv...
分类:
其他好文 时间:
2015-04-25 01:36:31
阅读次数:
511
hive.optimize.cp=true:列裁剪,取数只取
在读数据的时候,只读取查询中需要用到的列,而忽略其他列。例如,对于查询:SELECT a,b FROM T WHEREe
hive.optimize.prunner:分区裁剪
LIMIT
hive.limit.optimize.enable=true:优化LIMIT n语句
使用...
分类:
其他好文 时间:
2015-04-25 00:17:57
阅读次数:
176
前面我分别介绍了两种Hive将分析结果导入到MySQL表的两种方式:Sqoop导入方式和使用Hive、MySQL JDBC驱动,现在我介绍第三种,也是使用比较多的方式——使用Hive
自定义函数(UDF或GenericUDF)将每条记录插入到数据库表中。
一、使用UDF方式
使用UDF方式实现比较简单,只要继承UDF类,并重写evaluate方法即可
1、编...
分类:
数据库 时间:
2015-04-24 09:10:37
阅读次数:
591
语法
join_table:
table_referenceJOIN table_factor [join_condition]
| table_reference{LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition
| table_reference[url=]LEFT SEMIJOIN...
分类:
其他好文 时间:
2015-04-23 17:34:22
阅读次数:
153