参考: https://dbaplus.cn/news-11-1983-1.html 1/连接参数 hive.server2.thrift.min.worker.threads 5 hive.server2.thrift.max.worker.threads 150 在emr中hive-hivese ...
分类：
其他好文 时间：
2019-12-20 16:47:36
阅读次数：
210
一，hive 权限授权模型 1、Storage Based Authorization in the Metastore Server基于存储的授权（也就是HDFS的授权模型） - 可以对Metastore中的元数据进行保护，但是没有提供更加细粒度的访问控制（例如：列级别、行级别）。2、SQL St ...
分类：
其他好文 时间：
2019-12-20 13:52:44
阅读次数：
104
SQL on Hadoop 技术 | 备注 | Apache Hive | Cloudera Impala | Facebook Presto | Apache Drill | Spark SQL | Apache Phoenix | ...
分类：
数据库 时间：
2019-12-20 01:16:13
阅读次数：
124
产生背景：sqoop抽取oracle数据到hive表时，只能写入到固定分区（--hive-partition-key #hive分区字段 --hive-partition-value #hive分区值）。于是先把数据抽取到一张增量表，然后从增量表动态写入分区表。 set hive.exec.dyna ...
分类：
数据库 时间：
2019-12-19 23:26:48
阅读次数：
305
使用 WcfTestClient.exe工具测试的时候，可能会出现：这样的提示： 已超过传入消息(65536)的最大消息大小配额。若要增加配额，请使用相应绑定元素上的 MaxReceivedMessageSize 属性。 解决办法，当然就是按照提示修改相应的配置文件了。 在这个过程序当中我参考了很多 ...
分类：
其他好文 时间：
2019-12-19 21:04:26
阅读次数：
98
什么是Redis Redis是由意大利人Salvatore Sanfilippo（网名：antirez）开发的一款内存高速缓存数据库。Redis全称为：Remote Dictionary Server（远程数据服务），该软件使用C语言编写，Redis是一个key value存储系统，它支持丰富的数据 ...
分类：
编程语言 时间：
2019-12-18 12:51:52
阅读次数：
92
目标：搭建hadoop+hbase+zoopkeer+hive开发环境安装环境:1、centeros192.168.1.1012、centeros192.168.1.102开发环境：window+eclipse一、安装hadoop集群1、配置hosts#vi/etc/hosts192.168.1.101master192.168.1.101slave12、关闭防火墙：systemctlstatus
分类：
其他好文 时间：
2019-12-18 10:52:49
阅读次数：
80
错误原因： namenode内存空间不够，JVM剩余内存空间不够新job运行所致 解决办法： 将hive设置成本地模式来执行任务 set hive.exec.mode.local.auto=true; ...
分类：
其他好文 时间：
2019-12-18 00:03:59
阅读次数：
915
二、视图 1、Hive 的视图和关系型数据库的视图区别 和关系型数据库一样，Hive 也提供了视图的功能，不过请注意，Hive 的视图和关系型数据库的数据还是有很大的区别： （1）只有逻辑视图，没有物化视图； （2）视图只能查询，不能 Load/Insert/Update/Delete 数据； （3 ...
分类：
其他好文 时间：
2019-12-17 17:54:16
阅读次数：
111
sparksql是spark中的一个模块，主要用于进行结构化数据的处理，他提供的最核心的编程抽象，就是DataFrame。同时，sparksql还可以作为分布式的sql查询引擎。 最最重要的功能就是从hive中查询数据。 Dataframe可以理解为：以列的形式组织的，分布式的数据集合。 Dataf ...
分类：
数据库 时间：
2019-12-17 15:26:10
阅读次数：
121
