脚本通过ssh检查大数据环境中各节点的相关实例是否运行正常，包括：zk、hadoop-ha、hdfs、yarn、hbase、hive-metastore、hiveserver2、kafka。 注意修改成自己的集群节点名称及kafka版本 #!/bin/bash # 定义机器名前缀 HN_PREFIX ...
分类：
系统相关 时间：
2020-06-20 16:44:49
阅读次数：
68
ClickHouse大数据分析技术与实战课程课程基于ClickHouse的最新的20.x版本，从理论到实践，由浅入深详解ClickHouse的原理和使用。本课程从零开始，有Linux操作系统和SQL使用经验即可。课程以案例驱动，包含大量的实践案例。将ClickHouse与MySQL、Kafka、HDFS等第三方系统集成，增强ClickHouse的功能。课程覆盖面广，既有基础功能的详细讲解，也包含了
分类：
其他好文 时间：
2020-06-18 17:49:42
阅读次数：
113
ClickHouse大数据分析技术与实战课程课程基于ClickHouse的最新的20.x版本，从理论到实践，由浅入深详解ClickHouse的原理和使用。本课程从零开始，有Linux操作系统和SQL使用经验即可。课程以案例驱动，包含大量的实践案例。将ClickHouse与MySQL、Kafka、HDFS等第三方系统集成，增强ClickHouse的功能。课程覆盖面广，既有基础功能的详细讲解，也包含了
分类：
其他好文 时间：
2020-06-18 16:18:50
阅读次数：
65
1、HDFS（Hadoop Distributed File System）是一个分布式文件系统，具有良好的扩展性、容错性以及易用的API。它的核心思想是将文件切分成等大的数据块，以多副本的形式存储到多个节点上。HDFS采用了经典的主从软件架构，其中主服务被称为NameNode，管理文件系统的元信息 ...
分类：
其他好文 时间：
2020-06-18 14:33:17
阅读次数：
67
1，kafka包含3个组件：source、channel、sink source：1.7以上的版本提供了 TaildirSource，支持断点续传，1.6前的版本，需要自己开发程序，存储flume读取的文件位置，以便后续接着读取数据。 channel： FileChannel：数据存储在磁盘上，稳定 ...
分类：
Web程序 时间：
2020-06-17 11:20:34
阅读次数：
72
一、归并排序 归并排序是建立在归并操作上的一种有效的排序算法。该算法是采用分治法（Divide and Conquer）的一个非常典型的应用。将已有序的子序列合并，得到完全有序的序列；即先使每个子序列有序，再使子序列段间有序。若将两个有序表合并成一个有序表，称为2-路归并。 所谓“分”，指的是将一个 ...
分类：
编程语言 时间：
2020-06-17 01:03:57
阅读次数：
82
1.自定义sink 在flink中，sink负责最终数据的输出。使用DataStream实例中的addSink方法，传入自定义的sink类 定义一个printSink()，使得其打印显示的是真正的task号（默认的情况是task的id+1） MyPrintSink package cn._51doi ...
分类：
其他好文 时间：
2020-06-16 23:19:16
阅读次数：
61
scribe_百度百科 https://baike.baidu.com/item/scribe flume（日志收集系统）_百度百科 https://baike.baidu.com/item/flume/6250098 Kafka（科技术语）_百度百科 https://baike.baidu.com ...
分类：
其他好文 时间：
2020-06-16 20:48:33
阅读次数：
58
1，在hdfs-site.xml 中配置多目录，提前配置好，以免以后要配置时，需要重启集群。 2，namenode 有一个工作线程池，用来处理不同的datanode的并发心跳和客户端访问并发请求。配置dfs.namenode.handler.count=20 * log2(Cluster Size) ...
分类：
其他好文 时间：
2020-06-16 13:33:15
阅读次数：
64
元数据更新过程？ MapReduce的Shuffle过程？ HDFS的读的流程？ HDFS写的流程？ 如何将hadoop配置文件从一台机器同步到另一台机器上？ scp -r hadoop-2.7.3 hpsk@192.168.134.222:/opt/modules/ 如何终止yarn上正在运行的程 ...
分类：
其他好文 时间：
2020-06-15 23:20:15
阅读次数：
144
