考的是某年 \(FJWC\) 的题。 \(T1\) 比较简单的构造题,但自己考试的时候犯了个 \(zz\) 错误,把边权搞错了,就只拿了 \(50\) 分。 \(T2\) 大数据结构题,一开始想打暴力的,但要分类讨论好多种情况,就没写。 \(T3\) 思维题,打死都想不出正解的那照片那种。 T1 直 ...
分类:
其他好文 时间:
2021-04-01 13:19:13
阅读次数:
0
一、filter,map,flatmap练习: 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') lines.collect() 2.将一行一行的文本分割成单词 words words=lines.flatM ...
分类:
其他好文 时间:
2021-04-01 13:07:18
阅读次数:
0
1.1 定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue) , 主要应用于大数据实时处理领域 1.2 消息队列 1.2.1 传统消息队列的应用场景 ? 使用消息队列的好处 1) 解耦允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 2) ...
分类:
其他好文 时间:
2021-03-30 13:07:59
阅读次数:
0
Hadoop集群 第三章 linux虚拟机 jdk 配置 1、查看并卸载主机原有JDK 1)查找并卸载 jdk 相关软件 rpm -qa | grep -i java | xargs -n1 rqm -e --nodeps rpm -qa:查看安装的所有 rpm 软件包 grep -i :忽略大小写 ...
分类:
系统相关 时间:
2021-03-29 12:39:22
阅读次数:
0
CentOS7安装VMware Tools的具体步骤如下: 一、准备工作菜单栏》安装VMware Tools 点击VMware菜单栏【虚拟机】,选择【安装VMware Tools】;如果安装了早期版本的 VMware Tools,则菜单项为[更新 VMware Tools] 装载CD-ROM 查看【 ...
分类:
系统相关 时间:
2021-03-29 12:30:05
阅读次数:
0
前言 接上文,复习整理大数据相关知识点,这章节从MapReduce开始... MapReduce介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”,适用于大量复杂的任务处理场景(大规模数据处理场景)。 Map负责“分”,即把复杂的任务 ...
分类:
其他好文 时间:
2021-03-17 15:09:28
阅读次数:
0
处在数字化时代的浪潮中,相信大家对于“数据”都不会陌生。无论对于企业还是个人,数据已经成为了数字化时代的“石油”。早在几年前马云就曾提出过一个观点——未来将会实现从IT时代向DT时代的变革。而在几年后的今天,我们切实感受到了大数据所带来的滚滚红利。 ? 在享受大数据红利的同时,也同样要注意数据的安全 ...
分类:
其他好文 时间:
2021-03-17 14:23:44
阅读次数:
0
大数据技术板块划分 数据采集 flume kafka logstash filebeat ... 数据存储 mysql redis hbase hdfs ... 虽然mysql不属于大数据范畴 但是我在这也列出来了,因为你在工作中离不开它 数据查询 hive impala elasticsearch ...
分类:
其他好文 时间:
2021-03-17 14:04:41
阅读次数:
0
安装VMware虚拟机和Linux系统(CentOS) 学习Linux需要一个环境,我们需要创建一个虚拟机,然后在虚拟机上安装要给CentOS系统来学习 1>先安装virtual machine,vm12 2>再安装Linux(CentOS 6.8) 3>原理示意图 ...
分类:
系统相关 时间:
2021-03-17 14:03:30
阅读次数:
0
关于 WSL 1 入门,你应该知道这些 如有错误,欢迎指出 参考: WSL 文档 VMware Workstation Pro 文档 概述 通过 WSL 2 来认识 WSL 1 什么是 WSL 2? WSL 2 是适用于 Linux 的 Windows 子系统体系结构的一个新版本,它支持适用于 Li ...
分类:
其他好文 时间:
2021-03-16 13:56:33
阅读次数:
0