安装hive 1、下载hive-2.1.1(搭配hadoop版本为2.7.3) 2、解压到文件夹下 /wdcloud/app/hive-2.1.1 3、配置环境变量 4、在mysql上创建元数据库hive_metastore编码选latin,并授权 5、新建hive-site.xml,内容如下: < ...
分类:
其他好文 时间:
2017-01-24 17:58:29
阅读次数:
436
概述对于mysql和Infobright等数据库,information_schema数据库中的表都是只读的,不能进行更新、删除和插入等操作,也不能加触发器,因为它们实际只是一个视图,不是基本表,没有关联的文件。information_schema.tables存储了数据表的元数据信息,下面对常用的... ...
分类:
数据库 时间:
2016-12-14 14:03:28
阅读次数:
196
启动hive-metastore和hive-server2 用beeline连接hive报错 确认已经赋予了hive用户在当前主机链接数据库的权限: 查看metastore的日志,报错信息如下: 由报错信息猜想hive元数据表创建失败,通过查看mysql中hive的元数据库,果真里面一张表都没有。 ...
分类:
数据库 时间:
2016-11-15 01:16:50
阅读次数:
885
一、准备数据 二、使用sqoop将mysql中的这张表导入到hdfs上 三、使用sqoop将mysql中的这张表导入到hive 五、从hdfs或hive导出数据到mysql表 ...
分类:
数据库 时间:
2016-11-10 16:48:05
阅读次数:
276
开始准备安装hive2.1.0了,hive的安装涉及到元数据-metastore存储的问题,hive元数据支持多种数据库,此处只考虑一般的mysql数据库。首先查询hive2.1.0相关的元数据库兼容性要求,访问hive的wiki网站:https://cwiki.apache.org/confluence/display/Hive/AdminManual+Metastore..
分类:
其他好文 时间:
2016-11-04 02:20:04
阅读次数:
310
安装完 Internet Information Services和 Web 管理工具 后,重启VS,以管理员身份打开,同时 选择源码--属性--安全--添加 everyone 所有权限,配置IIS,即可解决由于IIS、VS低版本源码 兼容性问题。 IIS 6 元数据库与IIS 6配置的兼容性 wi ...
分类:
数据库 时间:
2016-08-15 22:12:21
阅读次数:
546
Hive 将元数据存储在 RDBMS 中,一般常用 MySQL 和 Derby。默认情况下,Hive 元数据保存在内嵌的 Derby 数据库中,只能允许一个会话连接,只适合简单的测试。实际生产环境中不适用, 为了支持多用户会话,则需要一个独立的元数据库,使用 MySQL 作为元数据库,Hive 内部 ...
分类:
其他好文 时间:
2016-07-11 15:23:08
阅读次数:
180
问题: 访问 IIS 元数据库失败。说明: 执行当前 Web 请求期间,出现未处理的异常。请检查堆栈跟踪信息,以了解有关该错误以及代码中导致错误的出处的详细信息。 异常详细信息: System.Web.Hosting.HostingEnvironmentException: 访问 IIS 元数据库失 ...
分类:
数据库 时间:
2016-06-21 17:23:11
阅读次数:
212
hive 的 表与hdfs数据关系映射放在元数据库中,也就是mysql中,而真正的数据放在 hdfs中,通过mysql中表 ,字段等与hdfs上数据的映射来查询
1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简...
分类:
其他好文 时间:
2016-05-30 15:27:04
阅读次数:
241
Hive体系结构(一)架构与基本组成
Hive体系结构(二)Hive的执行原理、与关系型数据库的比较
Hive体系结构(三)元数据库与基本操作
Hive体系结构(四)注意事项与扩展特性
1. 使用HIVE注意点
字符集
Hadoop和Hive都是用UTF-8编码的,所以, 所有中文必须是UTF-8编码, 才能正常使用。
备注:中文数据load到表里面,,如果字符集不同,很有可能...
分类:
其他好文 时间:
2016-05-18 18:58:53
阅读次数:
259