1.准备文本文件,从文件创建RDD lines=sc.textFile(),筛选出含某个单词的行 lines.filter(),lambda 参数：条件表达式 2.生成单词的列表,从列表创建RDD words=sc.parallelize(),筛选出长度大于2 的单词 words.filter() ...
分类：
其他好文 时间：
2021-03-29 12:30:29
阅读次数：
0
线程通信 等待： public final void wait(); public final void wait(long timeout); //必须在对obj加锁的同步代码块中，在一个线程中，调用obj.wait()时，此线程会释放其拥有的所有锁标记，同时此线程在无限期等待的状态中，释放锁，进 ...
分类：
编程语言 时间：
2021-03-03 12:10:36
阅读次数：
0
一、Python环境准备 远程服务器上Python版本要与本地想匹配，这里本地使用Anaconda来进行安装，远程服务器之间安装。 wget --no-check-certificate https://www.python.org/ftp/python/3.6.7/Python-3.6.7.tgz ...
分类：
编程语言 时间：
2021-01-25 11:30:39
阅读次数：
0
来源：Cyc2018-Java 并发 何谓阿姆达尔定律 可提升性能倍数 = 1/(串行执行时间比 + 并行执行时间比/cpu数) 通过优化1)串行执行时间比 2)增加cpu数 提升性能。 一、线程状态转换 一、线程状态转换 新建（New） 创建后尚未启动。 运行（Runnable） 可能正在运行，也 ...
分类：
其他好文 时间：
2020-12-22 13:02:06
阅读次数：
0
【福利】北风网大数据之spark从入门到精通（三）北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通，分为四个阶段：Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark，今天分享的是SSpark深入剖析。
分类：
其他好文 时间：
2020-12-11 12:23:58
阅读次数：
2
【福利】北风网大数据之spark从入门到精通（四）北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通，分为四个阶段：Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark，今天分享的是内存计算框架Spark。
分类：
其他好文 时间：
2020-12-11 12:23:45
阅读次数：
3
今天在写swagger的注释的时候，发现我写的实体类，有一些类，在swagger-ui.html中的Models里面居然找不到，真是日了狗了。重启、对比pojo代码过后，发现并没有什么卵用。最后静下来想了下，会不会是因为controller的原因，因为我发现有些用到了@RequestBody的，都能 ...
前言 在日常编码的过程中，我们经常会使用Thread.sleep、LockSupport.park()主动阻塞线程，或者使用synchronized和Object.wait来阻塞线程保证并发安全。此时我们会发现，对于Thread.sleep和Object.wait方法是会抛出InterruptedE ...
分类：
编程语言 时间：
2020-11-26 14:24:53
阅读次数：
7
【原创】Java并发编程系列13|LookSupport收录于话题#进阶架构师|并发编程专题12个本文为何适原创并发编程系列第13篇，文末有本系列文章汇总。java.util.concurrent中源码频繁使用的LockSupport来阻塞线程和唤醒线程，如AQS的底层实现用到LockSupport.park()方法和LockSupport.unpark()方法。LockSupport到底是什么？
分类：
编程语言 时间：
2020-11-24 12:48:32
阅读次数：
6
Spark Streaming处理流程中，遇到某些批次耗时长的问题，排查思路
分类：
其他好文 时间：
2020-11-18 13:12:54
阅读次数：
8
