一.运行架构 1.架构 基于yarn模式 0) Flink任务提交后，Client向HDFS上传Flink的Jar包和配置 1) 向Yarn ResourceManager提交任务， 2) ResourceManager分配Container资源，Yarn通知NodeManager启动Applica ...
分类：
其他好文 时间：
2020-09-18 03:25:46
阅读次数：
38
HDFS个人数据存储的核心--分布式+共享存储5G时代得到来，大数据存储迅速暴涨，个人存储市场的存量不断扩大，同时增量也在快速增长，预计每年个人产生的数据会有20%的复合增长率，每年的会释放数十亿美元产值的数据存储市场增量。关于接下来的个人数据存储市场发展的方向，不仅仅是一个经济问题而且更加是互联网世界“个人主权”的问题，是隐私、安全、便捷等各种因素的集合，往大了说如果个人数据的问题得不到突破性的
分类：
其他好文 时间：
2020-09-18 02:37:28
阅读次数：
36
5G时代面临数据暴增，HDFS将解决数据存储的燃眉之急随着互联网5G的到来，快速化推动AI人工智能、智能家居、人类生活的智能化、无人驾驶、AR、高清直播等新兴领域的高速发展，5G时代面临数据暴增，如何解决存储难题及如何降低数据的存储成本成为世界关注的焦点，分布式存储无疑是时代最大的风口。在大趋势的驱动之下，从前两年开始分布式存储项目便不断涌现，但真正能够做到落地应用，并规模发展越来越大的项目却寥寥
分类：
其他好文 时间：
2020-09-18 00:28:27
阅读次数：
46
5G时代面临数据暴增，HDFS将解决数据存储的燃眉之急随着互联网5G的到来，快速化推动AI人工智能、智能家居、人类生活的智能化、无人驾驶、AR、高清直播等新兴领域的高速发展，5G时代面临数据暴增，如何解决存储难题及如何降低数据的存储成本成为世界关注的焦点，分布式存储无疑是时代最大的风口。在大趋势的驱动之下，从前两年开始分布式存储项目便不断涌现，但真正能够做到落地应用，并规模发展越来越大的项目却寥寥
分类：
其他好文 时间：
2020-09-17 23:40:50
阅读次数：
33
ELK是一种日志收集，分析的组合软件。ELK/EFK的组成部分，分别是：elasticsearch,logstash,kibanaelasticsearch(简称es数据库)：负责数据的存储，数据的分析，数据的搜索，是基于luncene做的二次开发。（es数据库是非关系型数据库）logstash：负责客户端日志收集工具，替代工具。（filebeat）kibana：负责数据的展示，查询。
分类：
其他好文 时间：
2020-09-17 22:03:38
阅读次数：
37
临近DEFI“断崖跳水”，HDFS分布式存储构建大数据安全随着互联网信息技术的发展以及人类生活的智能化，全球数据量不断的无限化扩展和增加。传统存储即将面临淘汰，虽然有技术成熟、性能良好、可用性高等优点，但面对海量数据时，其缺点也越来越明显：如扩展性差、成本高等。为了克服上述缺点，满足海量数据的存储需求，市场出现了分布式存储技术。分布式存储的兴起与互联网的发展密不可分，互联网公司由于其大数据、轻资产
分类：
其他好文 时间：
2020-09-17 21:39:49
阅读次数：
35
Sqoop 在hadoop和关系型数据库之间转换数据 Flume Flume是一个分布式的高可用的数据收集、聚集和移动的工具。通常用于从其他系统搜集数据，如web服务器产生的日志，通过Flume将日志写入到Hadoop的HDFS中 Canal 数据抽取是 ETL 流程的第一步。我们会将数据从 RDB ...
分类：
其他好文 时间：
2020-09-17 18:33:30
阅读次数：
37
判断44444端口是否被占用 [jason@hadoop102 flume-telnet]$ sudo netstat -tunlp | grep 44444 功能描述：netstat命令是一个监控TCP/IP网络的非常有用的工具，它可以显示路由表、实际的网络连接以及每一个网络接口设备的状态信息。 ...
分类：
Web程序 时间：
2020-09-17 18:11:23
阅读次数：
45
1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然 ...
分类：
其他好文 时间：
2020-09-17 17:38:24
阅读次数：
37
什么是ELK？ 通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，ELK是elastic公司研发的一套完整的日志收集、分析和展示的企业级解决方案，在这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为e ...
分类：
其他好文 时间：
2020-09-17 15:51:53
阅读次数：
26
