1.1 MapReduce定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析 应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 集群上。 1.2 Ma ...
分类：
其他好文 时间：
2021-04-05 12:32:51
阅读次数：
0
mvn install:install-file -DgroupId=com.hadoop.XXXXX -DartifactId=hadoop-XXXXX -Dversion=0.4XXXXX -Dpackaging=jar -Dfile=/hadoopXXXX.jar ...
分类：
编程语言 时间：
2021-04-05 12:04:49
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') lines.collect() 2.将一行一行的文本分割成单词 words words=lines.flatM ...
分类：
其他好文 时间：
2021-04-01 13:07:18
阅读次数：
0
VsCode搭建C语言环境 安装VsCode 去官网下载安装即可官网下载链接 安装C语言解释器 我安装的是MinGW,官网下载链接 下载后解压到要安装的目录 我的目录是 配置环境变量 将安装目录的bin文件夹路径添加至环境变量 测试环境搭建是否成功，打开Cmd输入gcc -v，出现以下信息说明搭建成 ...
分类：
编程语言 时间：
2021-03-30 13:01:12
阅读次数：
0
该博文关于使用Spring前的环境配置，从Tomcat到Maven实现HelloServlet来验证环境搭建是否正确；其中有自己踩过的坑，以及解决方法，相信各位会有所收获！ ...
分类：
编程语言 时间：
2021-03-29 12:39:39
阅读次数：
0
Hadoop集群 第三章 linux虚拟机 jdk 配置 1、查看并卸载主机原有JDK 1）查找并卸载 jdk 相关软件 rpm -qa | grep -i java | xargs -n1 rqm -e --nodeps rpm -qa：查看安装的所有 rpm 软件包 grep -i ：忽略大小写 ...
分类：
系统相关 时间：
2021-03-29 12:39:22
阅读次数：
0
环境搭建 题目环境：https://github.com/crumbledwall/CTFChallenges/tree/main/D3CTF2021/8-bit_pub 需要更改下邮件配置 接着docker启动即可 题目复现 访问题目，注册登陆后发现存在着admin的功能并且访问不了，目的很明确， ...
分类：
其他好文 时间：
2021-03-29 11:36:14
阅读次数：
0
搭建python环境 1. 使用miniconda安装python环境 清华大学镜像 miniconda 根据电脑型号下载miniconda 2. 安装miniconda 将miniconda安装在想要的目录下 在进行到如下图操作时，记得勾选红圈中选项，可以免去配置环境变量的烦恼 接下来只需要等待m ...
分类：
编程语言 时间：
2021-03-26 15:20:52
阅读次数：
0
一、VNC环境搭建 安装vnc服务 yum -y install tigervnc tigervnc-server vnc服务配置——宿主机远程控制 # 配置vnc # 将/lib/systemd/system/vncserver@.service文件复制一份 cp /lib/systemd/sys ...
前言 接上文，复习整理大数据相关知识点，这章节从MapReduce开始... MapReduce介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。 Map负责“分”，即把复杂的任务 ...
分类：
其他好文 时间：
2021-03-17 15:09:28
阅读次数：
0
