1.入口$HIVE_HOME/bin/ext/cli.sh 调用org.apache.hadoop.hive.cli.CliDriver类进行初始化过程 处理-e,-f,-h等信息,如果是-h,打印提示信息,并退出 读取hive的配置文件和.hiverc文件,设置HiveConf 创建一个控制台,进...
分类:
其他好文 时间:
2015-09-04 15:36:07
阅读次数:
186
以下操作均可在$HIVE_HOME/bin/.hiverc文件中保存,设置为默认参数set hive.mapred.mode=strict;//开启strict模式,以下情况报错:(1)没有limit限制的order by语句.(2)动态分区插入set hive.cli.print.current....
分类:
其他好文 时间:
2015-09-04 12:32:17
阅读次数:
167
原文地址:http://blog.fens.me/linux-redis-install/在Ubuntu中安装RedisR利剑NoSQL系列文章,主要介绍通过R语言连接使用nosql数据库。涉及的NoSQL产品,包括Redis,MongoDB,HBase,Hive,Cassandra,Neo4j。希...
分类:
系统相关 时间:
2015-09-04 09:54:49
阅读次数:
295
hive.exec.script.maxerrsize:一个map/reduce任务允许打印到标准错误里的最大字节数,为了防止脚本把分区日志填满,默认是100000;hive.exec.script.allow.partial.consumption:hive是否允许脚本不从标准输入中读取任何内容就...
分类:
其他好文 时间:
2015-09-03 17:56:05
阅读次数:
154
错误日志: ?Exception?in?thread?"main"?java.lang.RuntimeException:?java.lang.RuntimeException:?Unable?to?instantiate?org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
????...
分类:
Web程序 时间:
2015-09-02 16:05:07
阅读次数:
148
待迁移的数据库如下: mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | forbk | | hive | | mysql | | tes...
分类:
数据库 时间:
2015-09-02 10:42:30
阅读次数:
215
1.pig与hive的区别 pig和hive比较类似的,都是类sql的语言,底层都是依赖于hadoop 走的mapreduce任务。 pig和hive的区别就是,想要实现一个业务逻辑的话,使用pig需要一步一步操作 而使用hive的话一条SQL就可以搞定。 如果想在很短时间内获取一个比较复杂的业务逻...
分类:
其他好文 时间:
2015-09-02 00:12:46
阅读次数:
4572
use?noc_dpi;
CREATE?table?IF?NOT?EXISTS?tmp_yym_app(appname?STRING,?mdn_num?int,?inputoctets?int,outputoctet?int)
row?format?delimited?fields?terminated?by?‘|‘?stored?as?tex...
分类:
其他好文 时间:
2015-09-01 12:46:06
阅读次数:
294
hive的安装还算是比较简单的,因为不需要修改太多的配置文件
1.下载,解压
我把他放在了/usr/hadoop/hive
2.设置一下环境变量.(好像没设置也没啥的)
vim /etc/profile
export JAVA_HOME=/usr/java/jdk8
export HADOOP_HOME=/usr/hadoop/hadoop...
export H...
分类:
其他好文 时间:
2015-09-01 01:50:14
阅读次数:
180
转自: http://tech.meituan.com/hive-sql-to-mapreduce.html (美团技术团队) Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存...
分类:
数据库 时间:
2015-08-31 23:30:31
阅读次数:
391