浅析HDFS分布式存储有哪些优势特点近年，随着区块链、大数据等技术的推动，全球数据量正在无限制地扩展和增加。分布式存储的兴起与互联网的发展密不可分，互联网公司由于其大数据、轻资产的特点，通常使用大规模分布式存储系统。那么分布式存储的种类有哪些呢？分布式存储包含的种类繁多，除了传统意义上的分布式文件系统、分布式块存储和分布式对象存储外，还包括分布式数据库和分布式缓存等，但其中架构无外乎于三种：A、中
分类：
其他好文 时间：
2020-08-05 00:01:18
阅读次数：
97
0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。而mysql写入kafka的选型方案有：方案一：logstash_output_kafka插件。方案二：kafka_connector。方案三：debezium插件。方案四：flume。方案五：其他类似方案。其中：debezium和flume是基于mysqlbinlog实
分类：
数据库 时间：
2020-08-01 12:38:39
阅读次数：
93
Hbase在hdfs上的存储位置，根目录是由配置项hbase.rootdir决定，默认就是"/hbase" 其中hbase master 的webui 由参数hbase.master.info.port决定，一般配置为 60010 [dip@g3-test-36 ~]$ hadoop fs -ls ...
分类：
其他好文 时间：
2020-07-30 19:45:37
阅读次数：
104
参考链接： https://community.cloudera.com/t5/Support-Questions/HDP-3-0-with-local-repository-failing-to-deploy/td-p/240954 https://community.cloudera.com/t ...
分类：
Web程序 时间：
2020-07-30 18:12:28
阅读次数：
82
一、HDFS-HA集群配置 1.环境准备 1. 修改IP 2. 修改主机名及主机名和IP地址的映射 3. 关闭防火墙 4. ssh免密登录 5. 安装JDK，配置环境变量等 2.规划集群 hadoop102 hadoop103 hadoop104 NameNode NameNode JournalN ...
分类：
其他好文 时间：
2020-07-28 22:19:09
阅读次数：
77
配置日志收集系统 ELK需求背景：业务发展越来越庞大，服务器越来越多各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志开发人员排查问题，需要到服务器上查日志，不方便运营人员需要一些数据，需要我们运维到服务器上分析日志为什么要用到ELK：1.一般我们需要进行日志分析场景：直接 ...
分类：
其他好文 时间：
2020-07-27 15:45:28
阅读次数：
63
原文：https://www.cloudera.com/tutorials/manage-files-on-hdfs-via-cli-ambari-files-view/2.html Introduction In the previous tutorial, we learned to manag ...
分类：
其他好文 时间：
2020-07-27 13:45:42
阅读次数：
88
1）案例需求 使用 Flume 采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。 2）需求分析 在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的 Multiplexing 结构，Mu ...
分类：
Web程序 时间：
2020-07-26 23:24:13
阅读次数：
106
Hadoop和HDFS内容：1.什么是HDFS文件系统？ HDFS是大数据开源框架hadoop的组件之一，全称（Hadoop Distributed File System），它是一个分布式文件系统，由多台服务器联合起来实现文件存储功能，通过目录树来定位文件，集群中的服务器都有有各自的角色. 2.h ...
分类：
其他好文 时间：
2020-07-26 23:17:20
阅读次数：
88
1.1.HDFS. 它是一个分布式文件管理系统，用来存储文件，通过目录树来定位文件；由多个服务器联合起来实现功能，集群中的服务器有各自的角色。 适用场景：适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据的分析，并不适合用来做网盘应用。 1.1.1NameNode：就是master，它 ...
分类：
其他好文 时间：
2020-07-26 23:15:19
阅读次数：
102
