1.Spark概述 Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于 Apache Hadoop MapReduce 仅执行批处理并且缺乏实时处理功能，因此它开始出现。因此，引入了Apache Spark，因为它可以实时执行流处理，也可以处理批处理。 除了实 ...
分类：
其他好文 时间：
2021-04-06 15:01:09
阅读次数：
0
2.1 序列化概述 1）什么是序列化 序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。 反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。 2）为什么要序列化 一般来说，“活的”对象只生存在内存里，关机断电 ...
分类：
其他好文 时间：
2021-04-06 14:52:31
阅读次数：
0
1.1 MapReduce定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析 应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 集群上。 1.2 Ma ...
分类：
其他好文 时间：
2021-04-05 12:32:51
阅读次数：
0
mvn install:install-file -DgroupId=com.hadoop.XXXXX -DartifactId=hadoop-XXXXX -Dversion=0.4XXXXX -Dpackaging=jar -Dfile=/hadoopXXXX.jar ...
分类：
编程语言 时间：
2021-04-05 12:04:49
阅读次数：
0
算法分析2020年冬季学期第二期：项目名称抽象的。您在这一里程碑中取得的成就中的一段。这应该包括在所有里程碑中。 对于项目投标，请使用以下标题。 （不包括封面，最多2页）问题描述。用您自己的话解释这个问题（不需要正式描述），并举例说明。边缘案例。预期的复杂性。数据集收集。包括用于数据集收集或生成的计 ...
分类：
其他好文 时间：
2021-04-01 13:20:35
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') lines.collect() 2.将一行一行的文本分割成单词 words words=lines.flatM ...
分类：
其他好文 时间：
2021-04-01 13:07:18
阅读次数：
0
###案例1 java byte[]与十六进制字符串相互转换 import java.util.Arrays; public class ccc { public static void main(String[] args) { int[] array ={-6, 1, 18, 114, 54, ...
分类：
编程语言 时间：
2021-04-01 12:57:31
阅读次数：
0
最后我们可以通过 docker ps 命令查看容器的运行信息： docker ps 1.# 列出本机的所有 image 文件。 $ docker image ls 案例： docker image ls REPOSITORY TAG IMAGE ID CREATED SIZE redis 5 aa2 ...
分类：
其他好文 时间：
2021-03-31 12:35:36
阅读次数：
0
Stream流初体验 案例需求 按照下面的要求完成集合的创建和遍历 创建一个集合，存储多个字符串元素 把集合中所有以"张"开头的元素存储到一个新的集合 把"张"开头的集合中的长度为3的元素存储到一个新的集合 遍历上一步得到的集合 原始方式示例代码 public class StreamDemo { ...
分类：
其他好文 时间：
2021-03-31 11:55:09
阅读次数：
0
反向代理原理 区别于正向代理，客户端对代理无感知，通过代理服务器将请求转发给真实服务器，获取返回数据后在发送给客户。 主要配置文件：/usr/local/nginx/conf/nginx.conf 案例1 要实现的效果：在8080端口开启tomcat，在9001端口访问进入tomcat主页 主要步骤 ...
分类：
其他好文 时间：
2021-03-30 13:31:01
阅读次数：
0
