产生背景：sqoop抽取oracle数据到hive表时，只能写入到固定分区（--hive-partition-key #hive分区字段 --hive-partition-value #hive分区值）。于是先把数据抽取到一张增量表，然后从增量表动态写入分区表。 set hive.exec.dyna ...
分类：
数据库 时间：
2019-12-19 23:26:48
阅读次数：
305
使用 WcfTestClient.exe工具测试的时候，可能会出现：这样的提示： 已超过传入消息(65536)的最大消息大小配额。若要增加配额，请使用相应绑定元素上的 MaxReceivedMessageSize 属性。 解决办法，当然就是按照提示修改相应的配置文件了。 在这个过程序当中我参考了很多 ...
分类：
其他好文 时间：
2019-12-19 21:04:26
阅读次数：
98
什么是Redis Redis是由意大利人Salvatore Sanfilippo（网名：antirez）开发的一款内存高速缓存数据库。Redis全称为：Remote Dictionary Server（远程数据服务），该软件使用C语言编写，Redis是一个key value存储系统，它支持丰富的数据 ...
分类：
编程语言 时间：
2019-12-18 12:51:52
阅读次数：
92
目标：搭建hadoop+hbase+zoopkeer+hive开发环境安装环境:1、centeros192.168.1.1012、centeros192.168.1.102开发环境：window+eclipse一、安装hadoop集群1、配置hosts#vi/etc/hosts192.168.1.101master192.168.1.101slave12、关闭防火墙：systemctlstatus
分类：
其他好文 时间：
2019-12-18 10:52:49
阅读次数：
80
错误原因： namenode内存空间不够，JVM剩余内存空间不够新job运行所致 解决办法： 将hive设置成本地模式来执行任务 set hive.exec.mode.local.auto=true; ...
分类：
其他好文 时间：
2019-12-18 00:03:59
阅读次数：
915
二、视图 1、Hive 的视图和关系型数据库的视图区别 和关系型数据库一样，Hive 也提供了视图的功能，不过请注意，Hive 的视图和关系型数据库的数据还是有很大的区别： （1）只有逻辑视图，没有物化视图； （2）视图只能查询，不能 Load/Insert/Update/Delete 数据； （3 ...
分类：
其他好文 时间：
2019-12-17 17:54:16
阅读次数：
111
sparksql是spark中的一个模块，主要用于进行结构化数据的处理，他提供的最核心的编程抽象，就是DataFrame。同时，sparksql还可以作为分布式的sql查询引擎。 最最重要的功能就是从hive中查询数据。 Dataframe可以理解为：以列的形式组织的，分布式的数据集合。 Dataf ...
分类：
数据库 时间：
2019-12-17 15:26:10
阅读次数：
121
一、套接字（socket）概念 套接字（socket）是通信的基石，是支持TCP/IP协议的网络通信的基本操作单元。它是网络通信过程中端点的抽象表示，包含进行网络通信必须的五种信息：连接使用的协议，本地主机的IP地址，本地进程的协议端口，远地主机的IP地址，远地进程的协议端口。 应用层通过传输层进行 ...
hive.optimize.cp=true：列裁剪hive.optimize.prunner：分区裁剪hive.limit.optimize.enable=true：优化LIMIT n语句hive.limit.row.max.size=1000000：hive.limit.optimize.limi ...
分类：
其他好文 时间：
2019-12-17 13:29:41
阅读次数：
64
如果设置hive.map.aggr为true,hive.groupby.skewindata为true，执行流程如下： 会生成两个job来执行group by，第一个job中，各个map是平均读取分片的，在map阶段对这个分片中的数据根据group by 的key进行局部聚合操作，这里就相当于Com ...
