目前没有实现，理一下思路，有3中途径：1：spark core可以使用sequoiadb最为数据源，那么是否spark sql可以直接操作sequoiadb。 (感觉希望不大,）2: spark sql支持Hive, sequoiadb可以和hive做对接，那么是否可以通过HIveContext ....
分类：
数据库 时间：
2015-01-17 15:10:37
阅读次数：
511
1. MySQL安装yum install mysql(mysql client安装)(mysql server安装)yum install mysql-serveryum install mysql-dev新建hive数据库用户，赋予权限mysql -u root -pinsert into us...
分类：
数据库 时间：
2015-01-16 18:57:12
阅读次数：
211
1 概述
??ZooKeeper（动物园管理员），顾名思义，是用来管理Hadoop（大象）、Hive（蜜蜂）、Pig（小猪）的管理员，同时Apache HBase、Apache Solr、LinkedIn Sensei等众多项目中都采用了ZooKeeper。
??ZooKeeper曾是Hadoop的正式子项目，后发展成为Apache顶级项目，与Hadoop密切相关但却没有任何依赖。它是一个针对...
分类：
其他好文 时间：
2015-01-15 22:09:09
阅读次数：
233
http://blog.csdn.net/lili72
背景：由于历史原因，公司部分业务还在使用oracle中。一出问题就是搞的很麻烦。由于长期使用的是mysql 和hive，Hbase等，一些oracle的命令慢慢的也是忘记了，但是公司某些在oracle上的业务，突然出现问题，每次查找问题都查得比较费劲，现把常用命令记录下来。
常遇到的oracle的问题：
1....
分类：
数据库 时间：
2015-01-15 22:05:19
阅读次数：
174
目前实时或者是准实时的大数据模型越来越多，技术是否先进并非流行的首要原因，社区圈子的繁荣与否才是最重要的。主要有Redshift-亚马逊出品的一款MPP支持PB级别数据库Hive-基于hadoop 上面的SQL引擎，将sql翻译为Map-Reduce任务；Shark- 基于spark计算框架，与Hi...
分类：
其他好文 时间：
2015-01-15 20:08:35
阅读次数：
256
最近集群准备升级到cdh5.2.0，并使用tez，在测试集群cdh5.2.0已经稳定运行了很长时间，因此开始折腾hiveontez了，期间遇到不少问题，这里记录下。hiveontez的部署比较简单，可以参考wiki.主要注意几个地方1.编译的时候mvncleanpackage-Dtar-DskipTests=true-Dmaven.javadoc.ski..
分类：
其他好文 时间：
2015-01-15 01:52:44
阅读次数：
1156
在测试hive0.14.0ontez时遇到的问题比较多：1.在使用cdh5.2.0+hive0.14.0+tez-0.5.0测试时，首先遇到下面的问题java.lang.NoSuchMethodError:org.apache.tez.dag.api.client.Progress.getFailedTaskAttemptCount()I
atorg.apache.hadoop.hive.ql.exec.tez.TezJobMonitor.printS..
分类：
其他好文 时间：
2015-01-15 01:50:47
阅读次数：
441
5.1 向管理表中装载数据Hive 没有行级别的数据插入更新和删除操作，那么往表中装载数据的唯一途径就是使用一种“大量”的数据装载操作，或者通过其他方式仅仅将文件写入到正确的目录下；LOAD DATA LOCAL INPATH '${env:HOME}/califonia-employees'OVE...
分类：
其他好文 时间：
2015-01-14 00:32:40
阅读次数：
289
典型大数据计算模式与系统
典型大数据计算模式
典型系统
大数据查询分析计算
HBase，Hive，Cassandra，Impala，Shark，Hana等
批处理计算
Hadoop MapReduce，Spark等
流式计算
Scribe，Flume，Storm，S4, Spark S...
分类：
其他好文 时间：
2015-01-13 21:33:30
阅读次数：
382
