备注：此处的hadoop版本是3.1.4 一、配置集群 1.1、配置yarn-site.xml <!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle ...
分类：
其他好文 时间：
2021-02-02 10:48:15
阅读次数：
0
福哥答案2021-01-31：[答案来自此链接：](https://www.zhihu.com/question/442112697)一个集群模式的官方推荐最小最佳实践方案是 6 个节点，3 个 Master 3 个 Slave 的模式。 key 分槽与转发机制Redis 将键空间分为了 16384 ...
分类：
其他好文 时间：
2021-02-02 10:33:54
阅读次数：
0
JSON Web Token（缩写 JWT）是目前最流行的跨域认证解决方案 背景 跨域认证的问题：服务器集群/跨域的服务导向架构，传统的sessionid<->cookie式认证产生session共享问题 解决方案 session数据写入持久层 服务器无状态，数据均保存在客户端 JWT 原理：服务器 ...
分类：
其他好文 时间：
2021-02-02 10:33:43
阅读次数：
0
一、编辑daemo.json文件 vim /etc/docker/daemon.json 二、安装Harbor ...
分类：
Web程序 时间：
2021-02-01 11:48:38
阅读次数：
0
2年前写的一篇旧文，文中的分析，以及探讨的问题和观点，至今仍有意义。 本文将以阿里云在GIAC的分享《云原生InfluxDB高可用架构设计》为例，剖析阿里云的自研InfluxDB集群方案的当前实现，在分析中会尽量聚焦的相对确定的技术、架构等，考虑到非一线信息，在个别细节上难免存在理解偏差，欢迎私聊讨 ...
分类：
数据库 时间：
2021-01-30 12:14:47
阅读次数：
0
Checkpoint介绍 checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保 证应用流图状态的一致性。Flink的checkpoint机制原理来自“Chandy-Lamport ...
分类：
其他好文 时间：
2021-01-28 12:03:40
阅读次数：
0
很容易让一个 StatefulSet 中的 Pod 拥有 DNS 记录。如果一个 StatefulSet 的名字是 memcached, 而它指定了关联的 serviceName 叫 memcached-cluster，那 kube-dns 就会为它的每个 pod 解析如下的 DNS A 记录： m ...
分类：
Web程序 时间：
2021-01-28 11:59:44
阅读次数：
0
安装ES安全认证 进入到skywalking/elasticsearch/elasticsearch-7.6.2/bin路径下， 1、为集群创建认证 文件根目录下，执行 bin/elasticsearch-certutil ca 依次输入回车（文件使用默认名），密码 2、为节点颁发证书 之后执行 b ...
分类：
其他好文 时间：
2021-01-28 11:57:30
阅读次数：
0
目录 背景 目前，在工作中用到的分布式缓存技术主要是redis和memcached两种 缓存的目的是为了在高并发系统中有效的降低DB数据库的压力 缓存服务器的选型和特点 1.memcache服务器 memcache服务器是没有集群概念的。所有的存储分发全部交给memcache client去做，这里 ...
分类：
其他好文 时间：
2021-01-27 14:00:46
阅读次数：
0
本文主要总结了Memcahce与Redis在性能、分布式与集群、数据类型、持久性、数据一致性、内存管理机制方面的异同。 ...
分类：
系统相关 时间：
2021-01-27 13:42:11
阅读次数：
0
