一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") words = lines.flatMa ...
分类：
其他好文 时间：
2021-04-06 15:08:22
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 ...
分类：
其他好文 时间：
2021-04-06 15:04:43
阅读次数：
0
1.Spark概述 Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于 Apache Hadoop MapReduce 仅执行批处理并且缺乏实时处理功能，因此它开始出现。因此，引入了Apache Spark，因为它可以实时执行流处理，也可以处理批处理。 除了实 ...
分类：
其他好文 时间：
2021-04-06 15:01:09
阅读次数：
0
2.1 序列化概述 1）什么是序列化 序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。 反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。 2）为什么要序列化 一般来说，“活的”对象只生存在内存里，关机断电 ...
分类：
其他好文 时间：
2021-04-06 14:52:31
阅读次数：
0
话不多说，直接上代码，这是项目目录结构，DDD领域驱动模型，流程实例单独一个package 发起流程的代码如下，如要传入流程定义的key，流程实例名称，和发起人id @ApiOperation(value = "发起流程", httpMethod = "POST") @PostMapping("st ...
分类：
其他好文 时间：
2021-04-06 14:46:33
阅读次数：
0
第一个：字节码文件时带有ENHANCERBYCGLIB,FastClassByCGLIB组成的文件名 第二个：字节码文件时带有ENHANCERBYCGLIB 第三个：字节码文件时带有FastClassByCGLIB组成的文件名 （这个文件的作用就是某个类的代理它需要使用的时候能快速把已经生成好的实例 ...
分类：
编程语言 时间：
2021-04-06 14:30:46
阅读次数：
0
先创建后台实体类 1 using System; 2 using System.Collections.Generic; 3 using System.Linq; 4 using System.Text; 5 using System.Threading.Tasks; 6 using System. ...
说一下 synchronized 底层实现原理？ synchronized可以保证方法或者代码块在运行时， 同一时刻只有一个方法可以进入到临界区， 同时它还可以保证共享变量的内存可见性。 Java中每一个对象都可以作为锁， 这是synchronized实现同步的基础： 普通同步方法，锁是当前实例对象 ...
分类：
其他好文 时间：
2021-04-06 14:26:19
阅读次数：
0
前两天看了一个视频，介绍了 TIA Selection Tool做了选型之后，可以导入到TIA 中，避免重复组态，西门子打通了哥哥软件之间的关联。现学现用我也做了练习，现在把过程记录下来。 1.首先确认TIA里面安装了OPENNESS组件，没有安装的话，重新运行TIA的setup把这个组件勾选上，这 ...
分类：
其他好文 时间：
2021-04-05 12:46:32
阅读次数：
0
1.1 MapReduce定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析 应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 集群上。 1.2 Ma ...
分类：
其他好文 时间：
2021-04-05 12:32:51
阅读次数：
0
