http://blog.csdn.net/lili72
背景:由于历史原因,公司部分业务还在使用oracle中。一出问题就是搞的很麻烦。由于长期使用的是mysql 和hive,Hbase等,一些oracle的命令慢慢的也是忘记了,但是公司某些在oracle上的业务,突然出现问题,每次查找问题都查得比较费劲,现把常用命令记录下来。
常遇到的oracle的问题:
1....
分类:
数据库 时间:
2015-01-15 22:05:19
阅读次数:
174
目前实时或者是准实时的大数据模型越来越多,技术是否先进并非流行的首要原因,社区圈子的繁荣与否才是最重要的。主要有Redshift-亚马逊出品的一款MPP支持PB级别数据库Hive-基于hadoop 上面的SQL引擎,将sql翻译为Map-Reduce任务;Shark- 基于spark计算框架,与Hi...
分类:
其他好文 时间:
2015-01-15 20:08:35
阅读次数:
256
最近集群准备升级到cdh5.2.0,并使用tez,在测试集群cdh5.2.0已经稳定运行了很长时间,因此开始折腾hiveontez了,期间遇到不少问题,这里记录下。hiveontez的部署比较简单,可以参考wiki.主要注意几个地方1.编译的时候mvncleanpackage-Dtar-DskipTests=true-Dmaven.javadoc.ski..
分类:
其他好文 时间:
2015-01-15 01:52:44
阅读次数:
1156
在测试hive0.14.0ontez时遇到的问题比较多:1.在使用cdh5.2.0+hive0.14.0+tez-0.5.0测试时,首先遇到下面的问题java.lang.NoSuchMethodError:org.apache.tez.dag.api.client.Progress.getFailedTaskAttemptCount()I
atorg.apache.hadoop.hive.ql.exec.tez.TezJobMonitor.printS..
分类:
其他好文 时间:
2015-01-15 01:50:47
阅读次数:
441
5.1 向管理表中装载数据Hive 没有行级别的数据插入更新和删除操作,那么往表中装载数据的唯一途径就是使用一种“大量”的数据装载操作,或者通过其他方式仅仅将文件写入到正确的目录下;LOAD DATA LOCAL INPATH '${env:HOME}/califonia-employees'OVE...
分类:
其他好文 时间:
2015-01-14 00:32:40
阅读次数:
289
典型大数据计算模式与系统
典型大数据计算模式
典型系统
大数据查询分析计算
HBase,Hive,Cassandra,Impala,Shark,Hana等
批处理计算
Hadoop MapReduce,Spark等
流式计算
Scribe,Flume,Storm,S4, Spark S...
分类:
其他好文 时间:
2015-01-13 21:33:30
阅读次数:
382
1.创建表注意问题指定字符间隔2.装载数据分两种,从本地文件系统装载和从HDFS中装载,本地装载HDFS装载:几个简单的HDFS命令:创建目录:查看目录:hive: use databasename;show tables;show database;
分类:
其他好文 时间:
2015-01-13 19:26:33
阅读次数:
119
简介:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 1, 适用场景Hive 构建在基于静态批处理的Hadoop 之上,Hadoo...
分类:
其他好文 时间:
2015-01-13 15:56:05
阅读次数:
256
Cloudera Hadoop 4 实战课程(Hadoop 2.0、集群界面化管理、电商在线查询+日志离线分析)适合人群:中级课时数量:42课时用到技术:CDH4,Cloudera Manager,Hive,HBase,Sqoop涉及项目:电商业日志流量分析项目咨询qq:1840215592Clou...
分类:
其他好文 时间:
2015-01-13 14:03:03
阅读次数:
151