1.下载喜欢的电子书或大量文本数据，并保存在本地文本文件中 2编写map与reduce函数 3本地测试map与reduce 4将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 ...
分类：
其他好文 时间：
2020-11-07 16:17:20
阅读次数：
18
前两天试了下 Flink SQL 写 Hive，对 Sink 部分写数据到 HDFS 的部分比较疑惑，特别是基于 checkpoint 的文件提交，所以看了下 StreamingFileSink 的源码（Flink SQL 写 hive 复用了这部分代码） StreamingFileSink 是 1 ...
分类：
其他好文 时间：
2020-11-01 20:49:03
阅读次数：
18
docker-compose安装loki套件(loki+promtail+grafana) loki进行日志聚合处理 类似elk中的es promtail是日志收集，类似elk中的logstash filebeat等，如果是只收集docker容器的日志则可以用loki的docker plugin替代 ...
分类：
其他好文 时间：
2020-11-01 20:42:03
阅读次数：
55
可能是Hadoop hdfs mapreduce最亲民的介绍
分类：
其他好文 时间：
2020-10-30 13:03:28
阅读次数：
17
葵花宝典 flume 1. Flume组成，Put事务，Take事务 2. Flume拦截器 3. Flume Channel选择器 4. Flume监控器 5. Flume采集数据会丢失吗?（防止数据丢失的机制） 6. Flume内存 7. FileChannel优化 1. Flume组成，Put ...
分类：
Web程序 时间：
2020-10-29 10:09:33
阅读次数：
36
在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode的热备来消除单节点故障问题，如果单个节点出现故障，可通过该方式将NameNode快速切换到另外一个节点上。
分类：
其他好文 时间：
2020-10-29 09:35:04
阅读次数：
15
分治思想： 我有一万个元素，查找其中的一个元素，最简单的遍历方法 复杂度为O(4) (遍历四次)，如何实现 准备2500个数组 查找x 补充知识：什么是hash & 什么是hashCode https://blog.csdn.net/weixin_38405253/article/details/9 ...
分类：
其他好文 时间：
2020-10-26 11:13:38
阅读次数：
17
1.本地文件系统创建一个文件，输入带姓名学号信息。 2.查看新建文件所在目录 3.查看新建文件内容 4.将此文件上传到HDFS文件系统上的用户目录 5.HDFS上查看相应目录 6.HDFS上查看文件内容 7.HDFS上查看文件大小 8.删除本地1步骤创建的文件 9.将HDFS上的文件下载到本地 10 ...
分类：
其他好文 时间：
2020-10-26 10:51:52
阅读次数：
18
1、本地文件系统创建一个文件，输入带姓名学号信息。 2、查看新建文件所在目录 3、查看新建文件内容 4、将此文件上传到HDFS文件系统上的用户目录 5、HDFS上查看相应目录 6、HDFS上查看文件内容 7、HDFS上查看文件大小 8、删除本地1步骤创建的文件 9、将HDFS上的文件下载到本地 10 ...
分类：
其他好文 时间：
2020-10-26 10:38:19
阅读次数：
21
