星期一大清早一来，就出现这毛病。折腾了办个多小时，终于搞定： 我的原因：上周五的时候为了装hive改动了/etc/enviroment里面的东西，导致出错。 解决办法：1.Ctrl + Alt + F1（ubuntu15.10），进入tty命令界面。将/etc/enviroment的东西改回来。 2
分类：
系统相关 时间：
2016-02-01 14:56:17
阅读次数：
243
Hive中常见的高级查询包括：group by、Order by、join、distribute by、sort by、cluster by、Union all。今天我们来看看order by操作，Order by表示按照某些字段排序，语法如下： [java] view plain copy sel
分类：
其他好文 时间：
2016-01-31 21:38:20
阅读次数：
341
Hive文件存储格式包括以下几类： 1.TEXTFILE 2.SEQUENCEFILE 3.RCFILE 4.ORCFILE(0.11以后出现) 其中TEXTFILE是默认格式，建表是不指定默认为这个格式，导入数据时会直接把数据文件拷贝到HDFS上不进行处理。SEQUENCEFILE、RCFILE、
分类：
其他好文 时间：
2016-01-31 21:35:35
阅读次数：
234
Hive中表连接操作大致分为以下四种： 1：join即等值连接，只有某个值在两个表中同时存在才会被检索出来。 2：left outer join即左外连接，左边表中的值无论是否存在右表中，都会输出，但是右表中的记录只有在左表中存在时才会输出。 3：right outer join即右外连接，右边表中
分类：
其他好文 时间：
2016-01-31 21:33:33
阅读次数：
201
概述： 一个Hive查询生成多个map reduec job，一个map reduce job又有map，reduce，spill，Shuffle，sort等几个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化(其中又会分细节)，针对MR全局的优化，和针对整个查询(多MR job
分类：
其他好文 时间：
2016-01-31 21:27:55
阅读次数：
402
这里用到的nginx日志是网站的访问日志，比如： [java] view plain copy 180.173.250.74 - - [08/Jan/2015:12:38:08 +0800] "GET /avatar/xxx.png HTTP/1.1" 200 968 "http://www.ite
分类：
其他好文 时间：
2016-01-31 21:26:40
阅读次数：
335
1.Hive分区表 Hive使用select语句进行查询的时候一般会扫描整个表内容，会消耗很多时间做没必要的工作。Hive可以在创建表的时候指定分区空间，这样在做查询的时候就可以很好的提高查询的效率。 创建分区表的语法： [java] view plain copy create table tab
分类：
其他好文 时间：
2016-01-31 21:24:30
阅读次数：
342
Hive严格模式 Hive提供了一个严格模式，可以防止用户执行那些可能产生意向不到的不好的效果的查询。说通俗一点就是这种模式可以阻止某些查询的执行。通过如下语句设置严格模式： [java] view plain copy hive> set hive.mapred.mode=strict; 设置为严
分类：
其他好文 时间：
2016-01-31 21:23:24
阅读次数：
333
UDTF(User-Defined Table-Generating Functions)用来解决输入一行输出多行(one-to-many maping)的需求。 编写自己的UDTF： 1.继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF。 2.
分类：
其他好文 时间：
2016-01-31 21:20:33
阅读次数：
659
小文件是如何产生的 1.动态分区插入数据，产生大量的小文件，从而导致map数量剧增。 2.reduce数量越多，小文件也越多(reduce的个数和输出文件是对应的)。 3.数据源本身就包含大量的小文件。 小文件问题的影响 1.从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所
分类：
其他好文 时间：
2016-01-31 21:17:06
阅读次数：
223
