sqoop import -D oraoop.disabled=true \--connect "jdbc:oracle:thin:@(description=(address=(protocol=tcp)(host=HOSTNAME)(port=PORT))(connect_data=(servi...
分类:
数据库 时间:
2014-12-10 17:38:11
阅读次数:
270
首先查看一个sql1、首先存在一个数据表tmpCREATE TABLE tmp( platform string, channel string, chan_value string, uid string, host int, logtime string, bd_so...
分类:
其他好文 时间:
2014-12-09 22:42:02
阅读次数:
787
Hadoop,HBase,Storm,Spark到底是什么?
Hadoop=HDFS+Hive+Pig+......
分类:
其他好文 时间:
2014-12-09 17:45:22
阅读次数:
183
Hive 中敲sql语句很不方便而且数据量大了以后显示的表数据可读性非常差。后来在Eclipse marketplace 发现有hive的插件下面给出Toad for Cloud databases的安装并连通到hive的步骤点击下载按钮在这里给出了安装的URL打开Eclipse在name栏里输入该...
分类:
数据库 时间:
2014-12-09 15:16:34
阅读次数:
521
一、shell 查询hbase 查询相当简单,提供了get和scan两种方式,也不存在多表联合查询的问题。复杂查询需通过hive创建相应外部表,用sql语句自动生成mapreduce进行。但是这种简单,有时为了达到目的,也不是那么顺手。至少和sql查询方式相差较大。hbase 提供了很多过滤器,可对...
分类:
其他好文 时间:
2014-12-09 13:43:40
阅读次数:
269
使用sqoop将mysql数据导入到hadoop...
分类:
数据库 时间:
2014-12-08 21:23:02
阅读次数:
282
Hive是什么
Hive 提供了一个让大家可以使用sql去查询数据的途径。但是最好不要拿Hive进行实时的查询。因为Hive的实现原理是把sql语句转化为多个Map Reduce任务所以Hive非常慢,官方文档说Hive 适用于高延时性的场景而且很费资源。
举个简单的例子
metastore...
分类:
其他好文 时间:
2014-12-08 19:39:48
阅读次数:
368
发布Apache Hadoop 2.6.0——异构存储,长时间运行的服务与滚动升级支持
我很高兴地宣布,在Apache的Hadoop社区已经发布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt!
特别是,我们很高兴在此版本中相关的三个主要片:异构存储在HDFS使用SSD和内存层,支持长时间运行在YARN服务和滚动升级,将升级您的集群软件,然后重新启动升级的节点而无需关闭群集或丢失正在进行的工作。YARN作为其架构中心,Hado...
分类:
Web程序 时间:
2014-12-08 12:28:20
阅读次数:
224
今天hive user maillist上有人问show current roles命令问题:
1
2
3
4
5
6
I am trying to run ‘Show current roles’ on Apache hive 0.13.1 but getting following error,
hive>...
分类:
其他好文 时间:
2014-12-07 20:25:20
阅读次数:
296
1.数据定义语言:hive> CREATE TABLE pokes (foo INT, bar STRING);hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);--分区是虚拟的,用于加载特别的数据...
分类:
其他好文 时间:
2014-12-07 17:44:34
阅读次数:
150