Application Application=a driver program + executors 一般来说：1个SparkContext = 1个application=1个SparkShell Spark提交任务不一定须在集群里提交，有gateway就行 1个application ==> ...
分类：
系统相关 时间：
2021-03-04 13:20:14
阅读次数：
0
参考资料 Influx Proxy 是一个基于高可用、一致性哈希的 InfluxDB 集群代理服务，实现了 InfluxDB 高可用集群的部署方案，具有动态扩/缩容、故障恢复、数据同步等能力。 相关文档：https://github.com/chengshiwen/influx-proxy 下载地址 ...
分类：
数据库 时间：
2021-03-04 13:07:16
阅读次数：
0
说明 Percona XtraDB Cluster(简称PXC)，是由percona公司推出的mysql集群解决方案。特点是每个节点都能进行读写，且都保存全量的数据。也就是说在任何一个节点进行写入操作，都会同步给其它所有节点写入到自己的磁盘。这点跟Oracle Rac有本质的区别，Rac是多个节点连 ...
分类：
数据库 时间：
2021-03-04 13:04:00
阅读次数：
0
Spark 运行时相关概念 从集群的物理层面 Master 节点：部署 Cluster Manager的节点 Slave 节点：部署 Worker 的节点，每个节点可以有多个 Worker 进程 从进程层面(与所执行的应用无关) Cluster Manager：管理集群的 CPU、内存等资源，为不同 ...
分类：
其他好文 时间：
2021-03-03 12:14:39
阅读次数：
0
大数据概述 一.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超 ...
分类：
其他好文 时间：
2021-03-03 12:14:24
阅读次数：
0
简介 Docker Swarm 是 Docker 的集群管理工具。它将 Docker 主机池转变为单个虚拟 Docker 主机。 Docker Swarm 提供了标准的 Docker API，所有任何已经与 Docker 守护程序通信的工具都可以使用 Swarm 轻松地扩展到多个主机。 支持的工具包 ...
分类：
其他好文 时间：
2021-03-03 12:12:38
阅读次数：
0
目录 一、Kafka监控的几个指标 二、查看zookeeper配置 三、查看kafka配置 四、查看kafka的group name 五、查看kafka的topic_name 六、修改zabbix配置文件 七、创建监控脚本 八、给脚本和对应文件权限 九、重启zabbix 十、监控上增加3个键值 正文 ...
分类：
其他好文 时间：
2021-03-03 12:11:41
阅读次数：
0
一、注意事项： 在zoo.cfg文件中设置的zkDir位置下创建zkDate目录，并且增加一个 myid 的文件，文件内容为当前节点的zookeeper的编号。 二、基本操作： 1. ls / 查看当前znode所包含的内容 2. ls2 / 查看当前znode节点的详细数据。 3.create / ...
分类：
其他好文 时间：
2021-03-03 12:06:04
阅读次数：
0
为什么用Zookeeper 官方地址：https://zookeeper.apache.org/doc/current/zookeeperOver.html redis不能保证实时一致性和强一致性（最终一致性） ZooKeeper实施对高性能，高可用性，严格排序的访问给予了高度重视 ZooKeepe ...
分类：
其他好文 时间：
2021-03-03 11:54:16
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超大数据、流式 ...
分类：
其他好文 时间：
2021-03-02 12:28:59
阅读次数：
0
