如果设置hive.map.aggr为true,hive.groupby.skewindata为true，执行流程如下： 会生成两个job来执行group by，第一个job中，各个map是平均读取分片的，在map阶段对这个分片中的数据根据group by 的key进行局部聚合操作，这里就相当于Com ...
1.创建CA证书 2.生成节点使用的证书 官方地址：https://www.elastic.co/guide/en/elasticsearch/reference/master/encrypting communications certificates.html https://www.elast ...
分类：
其他好文 时间：
2019-12-17 11:57:04
阅读次数：
157
众所皆知，web上传大文件，一直是一个痛。上传文件大小限制，页面响应时间超时.这些都是web开发所必须直面的。 本文给出的解决方案是：前端实现数据流分片长传，后面接收完毕后合并文件的思路。 实现文件夹上传，要求：服务端保留层级结构，支持10w级别的文件夹上传。 大文件上传及断点续传，要求：支持50G ...
分类：
Web程序 时间：
2019-12-16 19:02:11
阅读次数：
80
ELK 官网： https://www.elastic.co/cn/what-is/elk-stack 前提：关闭防火墙，关闭selinux systemctl stop firewalld setenforce 0 系统优化： 1 2 3 4 5 [root@node1 ~]# cat /etc/ ...
分类：
其他好文 时间：
2019-12-16 09:25:47
阅读次数：
94
分片（水平拆分） 4.全局表 准备数据 检查 ...
分类：
数据库 时间：
2019-12-15 22:19:30
阅读次数：
114
1. client端向ResourceManager提交应用程序, 也就是client端会将 jar包,参数等数据上传到hdfs上的某路径下; 2. resourceManager将此应用程序添加到任务队列中; 3. 等待资源充沛时, resourceManager为该应用程序分配第一个contai ...
分类：
其他好文 时间：
2019-12-14 22:38:22
阅读次数：
128
Spring Boot 集成Elastic Search 6.x Spring Data ElasticSearch目前（2018 5 22）还不支持ES 6.X版本的，故需要集成ES官方的RestHighLevelClient。 添加依赖 配置 RestHighLevelClient applic ...
分类：
编程语言 时间：
2019-12-14 21:17:25
阅读次数：
101
Python Elasticsearch api(官方文档) 安装Elasticsearch模块 pip install elasticsearch 添加数据 from elasticsearch import Elasticsearch # 默认host为localhost,port为9200.但 ...
分类：
编程语言 时间：
2019-12-14 20:49:59
阅读次数：
95
在项目开发中redis的使用也比较频繁，本文介绍了Go语言如何操作Redis。 Redis介绍 Redis是一个开源的内存数据库，Redis提供了多种不同类型的数据结构，很多业务场景下的问题都可以很自然地映射到这些数据结构上。除此之外，通过复制、持久化和客户端分片等特性，我们可以很方便地将Redis ...
分类：
编程语言 时间：
2019-12-14 17:18:33
阅读次数：
77
配置垂直分表 修改 schema.xml (db1) 创建测试数据(db1) 启动 mycat, 插入数据(db1) 测试(db1) 分片（水平拆分） 范围分片 配置 检查 ...
分类：
数据库 时间：
2019-12-13 22:05:29
阅读次数：
90
