一、Scala安装 1.1下载并解压Scala 1.2 将Scala添加到环境变量 1.3激活配置 二、安装Spark 2.1下载并解压Spark 2.2 修改文件夹名字 2.3配置环境变量 三、配置Spark 需要修改的配置文件有两个 Spark env.sh, spark defaults.co ...
分类：
其他好文 时间：
2020-04-28 20:13:43
阅读次数：
57
在项目中经常使用到多线程来提升业务处理速度，但线程池的大小该定义为多大，这块该怎么确定？1.IO密集型单核心最佳线程数=1+(IO耗时/CPU耗时)多核心线程数星佳线程数=CPU核数*(1+(IO耗时/CPU耗时))注：如何获取CPU耗时和IO耗时，可以通过APM之类系统2.CPU密集型最佳线程数=CPU核数+1说明一下这个1哪来的，是为了防止突然有线程出现内存页失效或者其它原因导致阻塞；3.总结
分类：
编程语言 时间：
2020-04-12 00:07:15
阅读次数：
113
Flink运行模式分为：集群模式、单机模式 集群模式：Flink的并行度取决于配置文件中的默认值,如下如所示： 在此配置的默认值下，全局的所有算子平行度都是1，我们也可以在程序中重写这个并行度 设置方式如下： 在本地模式下：默认的并行度为CPU核数可以执行线程数的最大值。比如：一台 8核 16线程的 ...
分类：
其他好文 时间：
2020-04-11 18:11:57
阅读次数：
140
这个是测试库的问题，但是过了两天生产库也出现同样的问题了，所以大家彻查了一下原因。 目前了解的情况是与CPU核数过高、数据库的并行参数（paraller_max_server）设置过高（256）等有关，ORACLE的算法在低版本有BUG（在cpu核数超过128、并行参数设置过高时容易触发）。 Ale ...
分类：
数据库 时间：
2020-03-30 11:14:07
阅读次数：
70
部署环境: 以下实验都是在VM虚拟机中进行部署的,仅供个人学习测试,不建议直接上生产环境. PS:其中,master的CPU核数至少需要2核,还没有测试过1G内存是否可以正常安装 节点 系统 CPU核数 内存 磁盘 IP k8s-master Centos7.7minimal 2核 2G 20G 1 ...
分类：
其他好文 时间：
2020-03-22 14:05:04
阅读次数：
82
0005 线程池原理剖析&锁的深度化 线程池原理剖析 提交一个任务到线程池中，线程池的处理流程如下： 1、判断线程池里的核心线程是否都在执行任务，如果不是（核心线程空闲或者还有核心线程没有被创建）则创建一个新的工作线程来执行任务。如果核心线程都在执行任务，则进入下个流程。 2、线程池判断工作队列是否 ...
分类：
编程语言 时间：
2020-03-14 23:47:39
阅读次数：
76
AWS实例类型的选择对应用性能和成本都有关联，所以选择合适的实例类型，既能保证应用性能，又节约成本，获得最佳的性价比。如果是本地迁移上云项目，首先要做的是收集线下数据中心X86服务器的信息，最基本的例如CPU核数，CPU峰值利用率，内存大小（GB），内存峰值利用率，操作系统类型。我们想根据这些基本信息估算一下在云上应该选择何种机型，以及一年的费用大约是多少。大多数客户在上云后都会购买一年标准RI实
分类：
其他好文 时间：
2020-03-13 23:31:28
阅读次数：
289
一、并发和并行 并发：任务数>CPU核数，通过系统的各任务调度算法，来回切换，实现多个任务“一起”运行，实际上不是真正同时一起运行，只是切换运行的速度相当快，看上去是一起执行的而已； 并行：任务数<=CPU核数，是真正的一起同时运行。 同步：同步是指代码调用IO操作时，必须等待IO操作完成返回才调用 ...
分类：
编程语言 时间：
2020-02-10 09:50:50
阅读次数：
73
############### 线程和GIL，全局解释器锁 ############## """ 线程 为什么会有进程？ 主要是能够同时处理多个任务，多个任务还要进行切换，时间片轮转 为什么会有线程？ 进程并不是执行任务的最小单元，每一个进程里面有都一个线程，我们叫做主线程， 早期没有线程，一个进程 ...
分类：
编程语言 时间：
2020-02-10 09:24:29
阅读次数：
67
vCPU 资源 = 物理CPU个数 * 物理CPU核数 * 单核线程数 * CPU频率举例：1个CPU，双核，每核2个线程，3.0GHz，那么vCPU资源 = 1 * 2 * 2 * 3.0GHz = 12GHz = 12000MHz。FusionCompute发放虚拟机流程中可对CPU资源进行限制 ...
分类：
其他好文 时间：
2020-01-29 23:43:22
阅读次数：
467
