可能是配置的问题。 我将hive.metastore.uris从配置文件中注释掉之后解决了hiveserver2启动成功但无法通过beeline连接的问题。 问题过程： 我创建了4台centos虚拟机，node03做hive的mestore和hiveserver2节点，node04做hive客户端。 ...
分类：
其他好文 时间：
2019-04-05 10:47:55
阅读次数：
1078
[hadoop@hadoop001 hive-1.1.0-cdh5.7.0]$ hivewhich: no hbase in (/home/hadoop/app/hive-1.1.0-cdh5.7.0/bin:/home/hadoop/app/hadoop-2.8.1/bin:/usr/java/j ...
分类：
编程语言 时间：
2019-04-04 09:43:55
阅读次数：
700
自定义Mapper实现 自定义Reducer实现 编写Driver类 本地测试开发 上面使用的都是基于 的，那么如何使用本地呢？ 强烈建议 使用 进行测试和开发,非常高效,Debug也很方便。 代码升级 使用代码,删除 的output目录 map端聚合 处理逻辑和Reducer完全一模一样, 即可！ ...
分类：
其他好文 时间：
2019-04-03 12:36:05
阅读次数：
167
一.SerDe SerDe:Serializer and Deserializer 序列化及反序列化，构建在数据存储和执行引擎之间，对两者实现解耦。 Hive通过ROW FORMAT DELIMITED 以及SERDE进行内容的读写。 样板： row format :DELIMITED [FIELD ...
分类：
其他好文 时间：
2019-04-03 12:30:20
阅读次数：
182
1.在hive中是可以删除文件的： 2.hive 中的default数据库 用default数据库创建表时，数据目录会在/user/hive/warehouse下3.显示表头和默认数据库信息 默认的都是false，修改为true 验证查询： 启动时配置信息： 查看所有的设置信息： 查看一个属性值： ...
分类：
其他好文 时间：
2019-04-02 22:49:00
阅读次数：
196
项目中引入hive-jdbc-1.2.1-standalone.jar包之后，报错如下： 网上找了各种解决办法均不对症，最终跟代码发现在执行如下代码时会异常： 一步步跟进内部代码，找到COntextFinder类中的find方法，可以看到一路在search javax.xml.bind.JAXBCo ...
分类：
其他好文 时间：
2019-03-30 18:42:04
阅读次数：
417
一.安装sasl 安装失败，前往：https://www.lfd.uci.edu/~gohlke/pythonlibs/#sasl下载对应自己python版本的sasl 本地安装： 二.安装thrift 三.安装thrift-sasl 四.安装PyHive ...
分类：
其他好文 时间：
2019-03-30 18:41:20
阅读次数：
386
linux安装软件包要解决包依赖问题，不能简单安装包本身。 离线安装基本思想都是先在一台设备上安装下载所有依赖包，然后拷贝所有依赖包到新设备上安装。 Ubuntu下apt离线安装包 执行apt update后包依赖关系保存在/var/lib/apt/lists目录下，下载的包保存在/var/cach ...
分类：
系统相关 时间：
2019-03-29 20:52:23
阅读次数：
537
Presto 是 Facebook 推出的一个基于Java开发的大数据分布式 SQL 查询引擎，可对从数 G 到数 P 的大数据进行交互式的查询，查询的速度达到商业数据仓库的级别，据称该引擎的性能是 Hive 的 10 倍以上。Presto 可以查询包括 Hive、Cassandra 甚至是一些商业 ...
分类：
其他好文 时间：
2019-03-29 13:07:34
阅读次数：
143
sql加载 格式 或者下面这种直接json加载 或者下面这种spark的text加载 以及rdd的加载 上述记得配置文件加入.mastrt("local")或者spark://master:7077 dataset的生成 下面是dataframe 下面是dataset $ bin/spark-she ...
分类：
数据库 时间：
2019-03-29 01:12:06
阅读次数：
368
