1, 使用hive标记random:(如果是mr,就自己标记random值) use ps; set mapred.job.priority=VERY_HIGH; set mapred.job.map.capcity=300; set mapred.reduce.tasks=200; insert
分类:
其他好文 时间:
2016-02-16 14:45:04
阅读次数:
104
java 程序 package com.ibeifeng.udaf; import org.apache.hadoop.hive.ql.exec.UDAF; import org.apache.hadoop.hive.ql.exec.UDAFEvaluator; public class Wm_co
分类:
其他好文 时间:
2016-02-05 01:42:44
阅读次数:
308
在Oracle中minus运算的主要功能是: 在进行两个表格或者两个查询结果的时候,返回在第一个表格/查询结果中与第二个表格/查询结果不同样的记录。 结果不同样的记录包括两种情况:A,B 表中某一行的内容不同和A表中的数据在B表中不存在。总之返回的是A表的数据。 Hive中没有实现minus功能的函
分类:
数据库 时间:
2016-02-03 20:51:28
阅读次数:
425
阿里云Centos7使用yum安装MySQL5.6.24 阿里云Centos7使用yum安装MySQL5.6.24 前言:由于某些不可抗力,我要在自己的阿里云服务器上搭建hadoop+hive+mysql+tomcat环境,下为mysql的安装记录 →_→大家都知道,centos自带的repo是不会
分类:
数据库 时间:
2016-02-03 00:11:04
阅读次数:
464
官方帮助文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL Hive的数据类型 -- 扩展数据类型data_type : primitive_type | array_type | map_type | str
分类:
其他好文 时间:
2016-02-02 17:35:22
阅读次数:
144
1.remote一体 这种存储方式需要在远端服务器运行一个mysql服务器,并且需要在Hive服务器启动meta服务。这里用mysql的测试服务器,ip位192.168.1.214,新建hive_remote数据库,字符集位latine1; $ vim hive-site.xml <configur
分类:
其他好文 时间:
2016-02-02 16:12:34
阅读次数:
112
一、前提条件 安装了Zookeeper、Hadoop HDFS HA 安装方法: http://www.cnblogs.com/raphael5200/p/5154325.html 二、安装Mysql 因为使用量多的是单用户数据库模式,并且数据库使用最多的是mysql 所以在这里选择mysql数据库
分类:
其他好文 时间:
2016-02-01 20:45:45
阅读次数:
200
星期一大清早一来,就出现这毛病。折腾了办个多小时,终于搞定: 我的原因:上周五的时候为了装hive改动了/etc/enviroment里面的东西,导致出错。 解决办法:1.Ctrl + Alt + F1(ubuntu15.10),进入tty命令界面。将/etc/enviroment的东西改回来。 2
分类:
系统相关 时间:
2016-02-01 14:56:17
阅读次数:
243
Hive中常见的高级查询包括:group by、Order by、join、distribute by、sort by、cluster by、Union all。今天我们来看看order by操作,Order by表示按照某些字段排序,语法如下: [java] view plain copy sel
分类:
其他好文 时间:
2016-01-31 21:38:20
阅读次数:
341
Hive文件存储格式包括以下几类: 1.TEXTFILE 2.SEQUENCEFILE 3.RCFILE 4.ORCFILE(0.11以后出现) 其中TEXTFILE是默认格式,建表是不指定默认为这个格式,导入数据时会直接把数据文件拷贝到HDFS上不进行处理。SEQUENCEFILE、RCFILE、
分类:
其他好文 时间:
2016-01-31 21:35:35
阅读次数:
234