1. 将mysql中的数据导入到hive中sqoop import --connect jdbc:mysql://localhost:3306/sqoop --direct --username root --password 123456 --table tb1 --hive-table tb1 ...
分类：
其他好文 时间：
2015-09-11 14:29:31
阅读次数：
154
HBase和Hive的异同之处?共同点： 1). HBase与Hive都是架构在Hadoop之上的，都是用HDFS作为底层存储 区别： 2). Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统，HBase是为了支持弥补Hadoop对实时操作的缺陷的项目...
分类：
其他好文 时间：
2015-09-11 14:10:21
阅读次数：
207
题意：有一个n*8的蜂房（6边形的格子），其中部分是障碍格子，其他是有蜂蜜的格子，每次必须走1个圈取走其中的蜂蜜，在每个格子只走1次，且所有蜂蜜必须取走，有多少种取法？ 思路： 以前涉及的只是n*m的矩阵，也就是四边形的，现在变成了6边形，那么每个格子也就有6个方向可以出/进。为了方便考虑，将蜂.....
分类：
其他好文 时间：
2015-09-10 20:54:21
阅读次数：
248
insert overwrite table backup.epg_wiki_info select * from tvlog.epg_wiki_info; insert overwrite table backup.wiki select * from tvlog.wiki; insert overwrite table backup.device_info select * from t...
分类：
其他好文 时间：
2015-09-10 16:11:11
阅读次数：
223
Hive 起源于FaceBook,Hive在Hadoop中扮演数据仓库的角色。建立在Hadoop集群的最顶层，对存储在Hadoop群上的数据提供类SQL的接口进行操作。你可以用?HiveQL进行select,join,等等操作。 如果你有数据仓库的需求并且...
分类：
其他好文 时间：
2015-09-10 14:29:34
阅读次数：
226
资料来源：http://www.searchtb.com/2012/09/introduction-to-storm.html Storm背景 全量数据处理使用的大多是鼎鼎大名的hadoop或者hive，作为一个批处理系统，hadoop以其吞吐量大、自动容错等优点，在海量数据处...
分类：
其他好文 时间：
2015-09-10 13:16:11
阅读次数：
216
常见的一个场景是Hive里面一个带分区的表，原来是int类型的字段，后来发现数据超过了int的最大值，要改成bigint。或者是bigint要改string或decimal。无论如何，对于带分区的表，要改列类型，有一个坑：如果使用alter table t change column oldcol ...
分类：
其他好文 时间：
2015-09-09 19:31:37
阅读次数：
378
hive-site.xml 由%hive-1.1.0%/conf/hive-default.xml.template文件复制得到。 在hive-site.xml文件中配置Hive默认的数据文件存放目录。须提前创建。这里的配置会覆盖hive-default.xml中的配置。 1）??????...
分类：
其他好文 时间：
2015-09-09 17:47:55
阅读次数：
179
hive的元数据存放在关系型数据库中，元数据中存储了hive中所有表格的信息，包括表格的名字，表格的字段，字段的类型，注释。这些信息分散的存放在各个表中，给定一个hive中的表格名字，查询这个表中含有的所有字段，使用如下的SQL语句： mysql> select COLUMNS_V2.* from ...
分类：
其他好文 时间：
2015-09-09 11:09:29
阅读次数：
163
hive -e"select * from wyp">>local/wyp.txt其中我更喜欢弄好临时表，然后交互式查询时让相关人员自己去按逻辑处理数据，最后通过hdfs的webui进行数据下载
分类：
其他好文 时间：
2015-09-09 09:37:05
阅读次数：
128
