Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD),Spark SQL的前身是 Shark，由于 Shark过于依赖Hive，因此在版本迭代时很难添加新的优化 ...
分类：
数据库 时间：
2021-05-24 03:08:56
阅读次数：
0
cluster模块允许设立一个主进程和若干个worker进程，由主进程监控和协调worker进程的运行。worker之间采用进程间通信交换消息，cluster模块内置一个负载均衡器，采用Round-robin算法协调各个worker进程之间的负载。运行时，所有新建立的链接都由主进程完成，然后主进程再 ...
分类：
其他好文 时间：
2021-05-24 02:49:12
阅读次数：
0
自定义封装多个回调函数的执行 <script src="./Promise.js"></script> let p = new Promise((resolve, reject) => { setTimeout(() => { resolve('ok'); }, 1000) }) p.then(re ...
分类：
其他好文 时间：
2021-05-23 23:46:05
阅读次数：
0
#计算Spark StorageMemory Heap内存 tag: Spark, Spark Memory, Spark Storage Memory 2021-04-23 21:26:25 星期五 version: spark-2.4.5 Executor 进程 org.apache.spark ...
分类：
其他好文 时间：
2021-04-24 13:38:45
阅读次数：
0
1、改成本地模式 . val conf = new SparkConf().setAppName("ScalaWordCount").setMaster("local") 2、编写入参 传参 ...
分类：
其他好文 时间：
2021-04-24 13:30:06
阅读次数：
0
1. 用Pyspark自主实现词频统计过程。 >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] ...
分类：
其他好文 时间：
2021-04-23 12:19:08
阅读次数：
0
>>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] + 1...>>> ss = sorted( ...
分类：
其他好文 时间：
2021-04-23 12:18:32
阅读次数：
0
1. 用Pyspark自主实现词频统计过程。 >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] ...
分类：
其他好文 时间：
2021-04-23 12:10:50
阅读次数：
0
Nginx负载均衡 nginx的原理Nginx 采用的是多进程（单线程） & 多路IO复用模型 1、Nginx 在启动后，会有一个 master 进程和多个相互独立的 worker 进程2、master进程接收来自外界的信号，向各worker进程发送信号，每个进程都有可能来处理这个连接3、 mast ...
分类：
其他好文 时间：
2021-04-21 12:54:27
阅读次数：
0
1. nginx.cof配置文件说明 # 运行用户 user nobody; # 启动进程,通常设置成和cpu的数量相等 worker_processes 1; # 全局错误日志及PID文件 #error_log logs/error.log; #error_log logs/error.log n ...
分类：
其他好文 时间：
2021-04-21 12:37:55
阅读次数：
0
