码迷,mamicode.com
首页 >  
搜索关键字:hive    ( 4523个结果
大数据学习——hive基本操作
1 建表 2 创建一个student.txt 添加数据 3 上传 hdfs dfs -put student.txt /user/hive/warehouse/student 4 select * from student; 5 通常不会通过put方式加载数据,而是通过load的方式添加数据 loa ...
分类:其他好文   时间:2019-01-15 22:03:19    阅读次数:12
大数据学习——hive安装部署
1上传压缩包 2 解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C apps 3 重命名 mv apache-hive-1.2.1-bin hive 4 设置环境变量 vi /etc/profile expert HIVE_HOME=/root/apps/hi ...
分类:其他好文   时间:2019-01-15 18:30:33    阅读次数:10
[转] String to Date conversion in hive - 在 Hive 中各种字符串转换成日期格式
[From] http://bigdataprogrammers.com/string-date-conversion-hive/ Please refer below table to convert any date format into fixed format i.e yyyy-MM-dd ...
分类:其他好文   时间:2019-01-15 15:49:45    阅读次数:5
hive日期函数-Demo(二)
需求:某资产近一个月的资产值 比如:今天是2018年2月28日,近一个月若是按照自然月来算,那么是2018年2月1日至2018年2月28日。最终需要的日期格式为:yyyyMMdd。 当日时间戳 unix_timestamp() 方法可得到当前时间的时间戳。 上月今日 使用 add_months(日期 ...
分类:其他好文   时间:2019-01-15 14:34:04    阅读次数:9
hbase的基本介绍
1.hbase的简介:??HBASE是bigTable,(源代码是Java编写)的开源版本,是ApacheHadoop的数据库,是建立在hdfs之上,被设计用来提供高可靠性,高性能、列存储、可伸缩、多版本,的Nosql的分布式数据存储系统,实现对大型数据的实时,随机的读写请求。更是弥补了hive不能低延迟、以及行级别的增删改的缺点。??HBASE依赖于hdf
分类:其他好文   时间:2019-01-15 12:06:06    阅读次数:16
hive的典型应用场景
案例一:需求:现有这么一批数据,现要求出:每个用户截止到每月为止的最大单月访问次数和累计到该月的总访问次数。数据:用户名,月份,访问次数A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2015-02,10B,2015-02,5A,2015-03,16A,2015-
分类:其他好文   时间:2019-01-15 10:36:36    阅读次数:13
hive优化方式总结
1. 多表join优化代码结构: select .. from JOINTABLES (A,B,C) WITH KEYS (A.key, B.key, C.key) where .... 关联条件相同多表join会优化成一个job 2. LeftSemi-Join是可以高效实现IN/EXISTS子查 ...
分类:其他好文   时间:2019-01-15 00:40:38    阅读次数:8
hive的数据倾斜以及优化策略
1.hive的数据倾斜 介绍:只要在分布式一定有shuffle,避免不了出现数据倾斜,在混淆数据的过程中出现数据分布不均匀。比如:在MR编程中reducetask阶中的数据的大小不一致,即很多的数据集中到了一个reducetask中,hive的数据倾斜就是mapreduce的数据倾斜maptaskreducetask最后就是reducetask阶段的数据倾斜。 不会产生数据倾斜
分类:其他好文   时间:2019-01-14 21:23:35    阅读次数:6
hive的视图
创建视图:createviewview_piaofangasselect*fromt_name;查看视图:showtables;#既有表又有视图showviews#只查看视图查看视图的详细信息descformatted|extended删除视图dropviewview_name;使用视图的注意点:Hive中的试图,仅仅是一个sql语句的快捷方式hive中的视图只是逻辑视图,没有物化视图hive的视
分类:其他好文   时间:2019-01-14 17:15:17    阅读次数:10
hive的常见函数
查看函数的介绍(必读):showfunctions;#查看hive中的所有内置函数descfunctionextended函数名;#查看某个函数的详细介绍1.hive中常见的内置函数1)集合函数 创建数组  array(ele1,ele2,ele3)  例:selectarray(1,2,3,4);   判断值是否在数
分类:其他好文   时间:2019-01-14 17:12:59    阅读次数:6
4523条   1 2 3 4 ... 453 下一页
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!