1.1 MapReduce定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析 应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 集群上。 1.2 Ma ...
分类：
其他好文 时间：
2021-04-05 12:32:51
阅读次数：
0
mvn install:install-file -DgroupId=com.hadoop.XXXXX -DartifactId=hadoop-XXXXX -Dversion=0.4XXXXX -Dpackaging=jar -Dfile=/hadoopXXXX.jar ...
分类：
编程语言 时间：
2021-04-05 12:04:49
阅读次数：
0
一、JDK安装配置 下载：https://www.oracle.com/java/technologies/javase-downloads.html OS：centos7.8 Java：jdk-8u271-linux-x64.tar.gz # jdk-8u271-linux-x64.tar.gz上 ...
分类：
编程语言 时间：
2021-04-02 13:08:53
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') lines.collect() 2.将一行一行的文本分割成单词 words words=lines.flatM ...
分类：
其他好文 时间：
2021-04-01 13:07:18
阅读次数：
0
Team Foundation Server 安装配置 下载安装之前查看对应操作系统支持的版本： 官网下载：https://docs.microsoft.com/en-us/visualstudio/releasenotes/tfs2017-update3我安装的是2017版本的。 1.安装执行程序 ...
分类：
Web程序 时间：
2021-04-01 13:01:05
阅读次数：
0
安装 配置环境变量,是mvn命令可执行 source /etc/profile 上传java代码,解压,进到代码目录,执行mvn package打包,执行过程中会进到apache仓库下载依赖进行打包 打包完成后,出现一个target文件夹,里面有一个jar包 mvn clean 先清除,后打包 mv ...
分类：
编程语言 时间：
2021-03-31 11:45:20
阅读次数：
0
Hadoop集群 第三章 linux虚拟机 jdk 配置 1、查看并卸载主机原有JDK 1）查找并卸载 jdk 相关软件 rpm -qa | grep -i java | xargs -n1 rqm -e --nodeps rpm -qa：查看安装的所有 rpm 软件包 grep -i ：忽略大小写 ...
分类：
系统相关 时间：
2021-03-29 12:39:22
阅读次数：
0
前言 接上文，复习整理大数据相关知识点，这章节从MapReduce开始... MapReduce介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。 Map负责“分”，即把复杂的任务 ...
分类：
其他好文 时间：
2021-03-17 15:09:28
阅读次数：
0
nginx功能：反向代理、负载均衡，动静分离，安装nginx方式参考：https://www.runoob.com/linux/nginx-install-setup.html 一、nginx配置负载均衡提供了以下几种分配策略： 1.轮询（默认） 每个请求按照时间顺序逐一分配到不同的后端服务器，如果 ...
分类：
其他好文 时间：
2021-03-16 13:43:20
阅读次数：
0
方式一:软件仓库安装 此方法不用自己去配置交叉编译工具链 1.查看本地仓库有支持哪些版本哪些 输入命令: apt-cache search aarch64 2.下载安装 gcc-8-aarch64-linux-gnu 输入:sudo apt-get install gcc-8-aarch64-lin ...
分类：
系统相关 时间：
2021-03-16 13:38:58
阅读次数：
0
