一、Shark简单介绍Shark是基于Spark与Hive之上的一种SQL查询引擎，官网的架构图及性能測试图例如以下：(Ps:本人也做了一个性能測试见Shark性能測试报告)我们涉及到了2个依赖组件，1是Apache Spark， 另外一个是AMPLAB的Hive0.11.这里注意版本号的选择。一定...
分类：
其他好文 时间：
2015-12-22 10:20:16
阅读次数：
355
OSCH是Oracle SQL Connector for Hadoop的缩写，Oracle出品的大数据连接器的一个组件本文介绍的就是如何使用OSCH从Oracle数据库直接访问Hive表前提1：在Oracle数据库端，部署好HDFS客户端与OSCH软件，设置好环境变量 #JAVA export J...
分类：
数据库 时间：
2015-12-22 06:26:45
阅读次数：
442
今天微博大数据平台发邮件来说。他们有一个hql执行失败。可是从gateway上面的日志看不出来是什么原因导致的，我帮忙看了一下。最后找到了问题的解决办法，下面是分析过程：1、执行失败的hql：INSERT OVERWRITE TABLE brand_ad_user_with_interact_...
分类：
其他好文 时间：
2015-12-19 21:45:34
阅读次数：
329
OLH是Oracle Loader for Hadoop的缩写，Oracle出品的大数据连接器的一个组件本文介绍的就是如何使用OLH加载Hbase表到Oracle数据库。前提：已部署Hadoop/Hive/Hbase与OLH软件 [hadoop@server1 ~]$ tree -L 1 ├── h...
分类：
数据库 时间：
2015-12-19 06:34:45
阅读次数：
517
踩坑贴，自己记录一下，免得以后再掉进去当前版本：HADOOP2.7.11.主机名和IP地址尽管hadoop文档里说了可以用ip地址配置，但却行不通，必须要配置主机名。主机名的坑：不允许包含下划线，如果包含下划线，报错信息更是让人看不懂。2.hiveserve的坑hiveserve2和在服务器上执行hiv..
分类：
其他好文 时间：
2015-12-18 14:57:00
阅读次数：
148
Hive本质上不是数据库，数据内容保存在HDFS,元数据和数据映射保存在mysql。eclipse连接hive时，需要将hive启动为服务，hive自身提供了服务启动方式一、Hive服务启动方式hive --service hiveserver2 hive服务绑定的10000端口号 查看1000.....
分类：
系统相关 时间：
2015-12-17 12:51:51
阅读次数：
241
Hive是用类似sql语句的形式去操作存储在HDFS上文件的一个客户端，功能上是一个数据仓库，需要配合一个关系型数据库使用，hive自带了一个关系型数据库derby，但是官方不推荐使用，这里我们使用Mysql。关系型数据库的作用是将HDFS上的数据结构化，将结构和数据映射对应起来。 mysql...
分类：
其他好文 时间：
2015-12-17 12:46:52
阅读次数：
158
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 HBase（Hadoop Database），是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，只能通过Rowkey来取数...
分类：
数据库 时间：
2015-12-17 12:11:21
阅读次数：
534
鲁春利的工作笔记，谁说程序员不能有文艺范？1、内部表2、外部表3、分区表4、桶表
分类：
其他好文 时间：
2015-12-13 00:53:43
阅读次数：
190
鲁春利的工作笔记，谁说程序员不能有文艺范？Hive对外提供了三种服务模式，即CLI（commandlineinterface）、HiveWeb和HiveClient（如JavaApi方式）。1、Hive命令行模式（CLI）启动Hive命令行模式有两种方式bin/hive
或
bin/hive--serviceclihive命令选项[hadoop@nnodehive1.2.0..
分类：
其他好文 时间：
2015-12-13 00:53:09
阅读次数：
382
