Spark 运行时相关概念 从集群的物理层面 Master 节点：部署 Cluster Manager的节点 Slave 节点：部署 Worker 的节点，每个节点可以有多个 Worker 进程 从进程层面(与所执行的应用无关) Cluster Manager：管理集群的 CPU、内存等资源，为不同 ...
分类：
其他好文 时间：
2021-03-03 12:14:39
阅读次数：
0
大数据概述 一.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超 ...
分类：
其他好文 时间：
2021-03-03 12:14:24
阅读次数：
0
简介 Docker Swarm 是 Docker 的集群管理工具。它将 Docker 主机池转变为单个虚拟 Docker 主机。 Docker Swarm 提供了标准的 Docker API，所有任何已经与 Docker 守护程序通信的工具都可以使用 Swarm 轻松地扩展到多个主机。 支持的工具包 ...
分类：
其他好文 时间：
2021-03-03 12:12:38
阅读次数：
0
目录 一、Kafka监控的几个指标 二、查看zookeeper配置 三、查看kafka配置 四、查看kafka的group name 五、查看kafka的topic_name 六、修改zabbix配置文件 七、创建监控脚本 八、给脚本和对应文件权限 九、重启zabbix 十、监控上增加3个键值 正文 ...
分类：
其他好文 时间：
2021-03-03 12:11:41
阅读次数：
0
一、注意事项： 在zoo.cfg文件中设置的zkDir位置下创建zkDate目录，并且增加一个 myid 的文件，文件内容为当前节点的zookeeper的编号。 二、基本操作： 1. ls / 查看当前znode所包含的内容 2. ls2 / 查看当前znode节点的详细数据。 3.create / ...
分类：
其他好文 时间：
2021-03-03 12:06:04
阅读次数：
0
为什么用Zookeeper 官方地址：https://zookeeper.apache.org/doc/current/zookeeperOver.html redis不能保证实时一致性和强一致性（最终一致性） ZooKeeper实施对高性能，高可用性，严格排序的访问给予了高度重视 ZooKeepe ...
分类：
其他好文 时间：
2021-03-03 11:54:16
阅读次数：
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超大数据、流式 ...
分类：
其他好文 时间：
2021-03-02 12:28:59
阅读次数：
0
vim sqoop-env.sh export HADOOP_HOME=/apps/hadoop export HADOOP_MAPRED_HOME=/apps/hadoop export HIVE_HOME=/apps/hive export ZOOKEEPER_HOME=/apps/zookee ...
分类：
其他好文 时间：
2021-03-02 12:20:39
阅读次数：
0
面试题 一、Hadoop 1.Hadoop面试题总结（一） 2.Hadoop面试题总结（二）——HDFS 3.Hadoop面试题总结（三）——MapReduce 4.Hadoop面试题总结（四）——YARN 5.Hadoop面试题总结（五）——优化问题 二、Zookeeper 1.Zookeeper ...
分类：
其他好文 时间：
2021-03-02 11:41:45
阅读次数：
0
1. 介绍 Zookeeper 的文件系统 Zookeeper 提供一个多层级的节点命名空间（节点称为 znode）。与文件系统不同的是，这些节点都可以设置关联的数据，而文件系统中只有文件节点可以存放数据而目录节点不行。Zookeeper为了保证高吞吐和低延迟，在内存中维护了这个树状的目录结构，这种 ...
分类：
其他好文 时间：
2021-03-01 13:21:01
阅读次数：
0
