一、filter,map,flatmap练习： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') lines.collect() 2.将一行一行的文本分割成单词 words words=lines.flatM ...
分类：
其他好文 时间：
2021-04-01 13:07:18
阅读次数：
0
 ...
分类：
其他好文 时间：
2021-03-31 12:06:27
阅读次数：
0
最近flink job出现了背压的问题, 后果是导致了checkpoint的生成超时, 影响了flink job的运行. ...
分类：
其他好文 时间：
2021-03-30 12:44:32
阅读次数：
0
Eclipse中的快捷键(默认)： 1.补全代码的声明：alt + / 2.快速修复: ctrl + 1 3.使用单行注释：ctrl + / 4.使用多行注释： ctrl + shift + / 5.取消多行注释：ctrl + shift + \ 6.复制指定行的代码：ctrl + alt + do ...
分类：
系统相关 时间：
2021-03-29 12:43:43
阅读次数：
0
Hadoop集群 第三章 linux虚拟机 jdk 配置 1、查看并卸载主机原有JDK 1）查找并卸载 jdk 相关软件 rpm -qa | grep -i java | xargs -n1 rqm -e --nodeps rpm -qa：查看安装的所有 rpm 软件包 grep -i ：忽略大小写 ...
分类：
系统相关 时间：
2021-03-29 12:39:22
阅读次数：
0
--创建序列 --入库create sequence rk_seq;--出库create sequence ck_seq;--移库create sequence yk_seq; --创建存储过程 create or replace procedure reset_seq(rk_seq_name in ...
分类：
数据库 时间：
2021-03-26 15:15:11
阅读次数：
0
1、下载Eclipse 下载地址：https://www.eclipse.org/downloads/ 2、下载JDK https://www.oracle.com/java/technologies/javase-downloads.html 3、配置JAVA环境变量 右键【我的电脑】 【属性】 ...
分类：
编程语言 时间：
2021-03-18 14:46:05
阅读次数：
0
xunxue1523 2020-02-27 21:22:18 3891 收藏 4分类专栏： javaweb 工具类 文章标签： Eclipse jee下载 提供国内清华大学镜像点下载 Eclipsejee国内下载 Eclipse 清华大学镜像点下载版权清华大学网站镜像网站资料https://mirr ...
分类：
系统相关 时间：
2021-03-18 14:03:04
阅读次数：
0
前言 接上文，复习整理大数据相关知识点，这章节从MapReduce开始... MapReduce介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。 Map负责“分”，即把复杂的任务 ...
分类：
其他好文 时间：
2021-03-17 15:09:28
阅读次数：
0
进入IDEA 的工具下会发现有四个选项 其中第一个就是创建一个新的Java工程 第二个是导入一个工程 第三个是打开一个已有工程比如打开Eclipse项目 check out from version control 通过服务器的项目地址导入项目，可以是gethub上的项目 同时需要说明IDEA的项目 ...
分类：
其他好文 时间：
2021-03-17 14:09:51
阅读次数：
0
