二 HDFS部署 主要步骤如下：1． 配置Hadoop的安装环境；2． 配置Hadoop的配置文件；3． 启动HDFS服务；4． 验证HDFS服务可用。1‘ 查看是否存在hadoop安装目录 ls /usr/cstor/hadoop 如果没有，利用工具从本地导入hadoop安装文件。 查看jdk是否 ...
分类：
其他好文 时间：
2020-12-30 11:10:24
阅读次数：
0
flume的概述 Apache Flume是一个分布式，可靠且可用的系统，用于有效地从许多不同的source收集，聚合和移动大量日志数据到集中式数据存储。 Apache Flume的使用不仅限于日志数据聚合。由于数据source是可定制的，因此Flume可用于传输大量event 数据，包括但不限于网 ...
分类：
Web程序 时间：
2020-12-29 11:10:09
阅读次数：
0
ELK ELK是有Elastic（https://www.elastic.co/cn/）公司的三个组件配合进行日志收集，分别是： ElasticSearch:用于存储日志信息。 Logstash:用于收集、处理和转发日志信息。 Kibana:提供可搜索的Web可视化界面。 上面3个组件的关系，项目日 ...
分类：
编程语言 时间：
2020-12-22 12:09:59
阅读次数：
0
参考：https://forum.huawei.com/enterprise/zh/thread-435089.html 安全模式是HDFS的一种工作状态，处于安全模式下，只能给客户端提供只读视图，不接受增删改。 namenode启动时，会将映像文件（fsimage）和编辑日志（edit log）加 ...
分类：
其他好文 时间：
2020-12-21 11:55:04
阅读次数：
0
主3306my.cnf [client] port = 3306 socket = /var/lib/mysql/3306-mysql.sock [mysqld] user = hdfs port = 3306 socket = /var/lib/mysql/3306-mysql.sock data ...
分类：
数据库 时间：
2020-12-21 11:31:29
阅读次数：
0
章节： 第一章节：CentOS 7 配置hadoop(一) 安装虚拟机（伪分布） 第二章节：CentOS 7 配置hadoop(二) 配置hdfs（伪分布） 第三章节：CentOS 7 配置hadoop(三) 配置hbase（伪分布） 第四章节：CentOS 7 配置hadoop(四) 配置hive ...
分类：
其他好文 时间：
2020-12-21 11:30:46
阅读次数：
0
连接hdfs 根据hdfs的版本引用相关的hdfs依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dependency> <groupId>org.apache.hadoop</group ...
ELSA(全称：EnterpriseLogSearchandArchive)是一款基于syslog-ng（新一代日志收集器，但目前多数Linux发现版都不带此工具）、MySQL的开源级企业日志归档查询工具，由于它和Sphinx的完美搭配，支持全文索引可以像搜索Web一样轻松地搜索上亿个日志中的任意字符串（前提是你的服务器配置足够高）。单节点ELSA日志采集系统的工作原理图如下所示：上面这张架构图可
分类：
其他好文 时间：
2020-12-16 12:26:48
阅读次数：
3
Ambari2.7.4+HDP3.1.4安装Centos7离线安装标签（空格分隔）：大数据平台构建一：关于HDP的介绍二：系统环境介绍三：系统环境初始化四：安装HDP3.1.4平台一：关于HDP的介绍1.1ambari的介绍Ambari是一种基于Web的工具，支持ApacheHadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、P
分类：
其他好文 时间：
2020-12-16 11:45:59
阅读次数：
4
0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-12-15 12:34:47
阅读次数：
9
