码迷,mamicode.com
首页 >  
搜索关键字:hive udf    ( 6169个结果
Aerospike C客户端手册———用户定义函数—应用UDF到记录
应用UDF到记录 Aerospike C客户端API提供aerospike_key_apply()来应用一个用户定义函数到数据库中某记录。 在使用aerospike_key_apply()操作前,包含被应用函数的UDF模块,必须首先注册到Aerospike服务器。请参见【注册用户定义函数】章节来学习如何使用C API注册,或阅读【aql手册】学习如何使用外部工具注册。 ...
分类:其他好文   时间:2015-04-27 11:25:25    阅读次数:260
Jdbc连接Hive
public class TestHive { private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver"; public static void main(String[] args) throws SQLException { try { Class.forName(driverNam...
分类:数据库   时间:2015-04-27 10:07:08    阅读次数:156
为hive任务启用压缩功能
1、为map中间输出启用压缩。 ? ? ? 一般对于中间输出压缩采用低压缩比,高压缩解压缩速度的压缩算法,如LZO,Snappy? ? ? set hive.exec.compress.intermediate=true; ? ? set mapred.map.output.compress...
分类:其他好文   时间:2015-04-27 08:20:51    阅读次数:192
笔记:Hive的主要技术改进(Major Technical Advancements in Apache Hive)
http://web.cse.ohio-state.edu/hpcs/WWW/HTML/publications/papers/TR-14-2.pdf (辅助参考:https://cwiki.apache.org/confluence/display/Hive/Correlation+Optimiz...
分类:Web程序   时间:2015-04-27 00:11:30    阅读次数:233
Aerospike C客户端手册———用户定义函数—注册用户定义函数
注册用户定义函数 Aerospike C 客户端提供在数据库中注册、更新或移除一个用户定义函数(UDF)模块的能力。目前,用户定义函数仅支持LUA语言。 aerospike_udf_put() — 注册或更新UDF模块。aerospike_udf_remove() — 移除UDF模块。 下面的代码引用自示例目录【examples/basic_examples/udf】...
分类:其他好文   时间:2015-04-26 09:29:49    阅读次数:229
MapReduce原理及实例分析
前言由于最近开始涉及MR程序的编写,之前会一点HIVE,对MR接触不多,不论从原理还是实际操作上,都有些障碍,终于在今天柳暗花明,将这一过程记录下,与大家分享~环境准备在VM上搭建好LINUX虚拟机,并安装配置好HADOOP2.2.0,我这里是单节点的伪分布式在eclipse中安装hadoop插..
分类:其他好文   时间:2015-04-26 01:43:47    阅读次数:161
Hive 的简单使用及调优参考文档
Hive 的简单使用及调优参考文档 HIVE的使用 命令行界面 使用一下命令查看hive的命令行页面, hive --help --service cli 简化命令为hive –h 会输出下面的这些东西 -d,--define Variable subsitution to apply to hiv...
分类:其他好文   时间:2015-04-25 01:36:31    阅读次数:511
hive的使用和优化笔记
hive.optimize.cp=true:列裁剪,取数只取      在读数据的时候,只读取查询中需要用到的列,而忽略其他列。例如,对于查询:SELECT a,b FROM T     WHEREe hive.optimize.prunner:分区裁剪   LIMIT   hive.limit.optimize.enable=true:优化LIMIT n语句          使用...
分类:其他好文   时间:2015-04-25 00:17:57    阅读次数:176
将Hive统计分析结果导入到MySQL数据库表中(三)——使用Hive UDF或GenericUDF
前面我分别介绍了两种Hive将分析结果导入到MySQL表的两种方式:Sqoop导入方式和使用Hive、MySQL JDBC驱动,现在我介绍第三种,也是使用比较多的方式——使用Hive 自定义函数(UDF或GenericUDF)将每条记录插入到数据库表中。 一、使用UDF方式         使用UDF方式实现比较简单,只要继承UDF类,并重写evaluate方法即可        1、编...
分类:数据库   时间:2015-04-24 09:10:37    阅读次数:591
hive join详解
语法 join_table:     table_referenceJOIN table_factor [join_condition]   | table_reference{LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition   | table_reference[url=]LEFT SEMIJOIN...
分类:其他好文   时间:2015-04-23 17:34:22    阅读次数:153
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!