怎么利用好cpu?短而快的任务放到线程池中才能压榨cpu，使得其飙升吗？那么，长慢（比如网络IO等等，造成cpu空闲，但是又不能做其他事情，那么，这种情况能不能增加线程池个数来优化一点呢）的任务放到线程池中能让cpu飙升吗？cpu是10核，那么线程池设置为10个或者20个就是合理的吗？不是的，对于有 ...
分类：
其他好文 时间：
2019-06-19 20:24:00
阅读次数：
88
第2节 mapreduce深入学习：7、MapReduce的规约过程combiner ...
分类：
其他好文 时间：
2019-06-14 22:20:44
阅读次数：
140
spark中的shuffle shuffle简介 shuffle是将数据重新分配 的过程，它是跨分区的，涉及网络IO传输的，成本很高。他是整个大数据的性能杀手，瓶颈所在，故生产中尽量较少有shuffle动作的产生。 spark shuffle 演进的历史 spark0.8及以前Hash Based ...
分类：
其他好文 时间：
2019-06-08 11:35:28
阅读次数：
86
[TOC] Last Modified: 2019年5月10日11:44:18 参考链接 "使用 Laravel Queue 不得不明白的知识" "Laravel 队列文档" 本文环境 Laravel 5.5 队列 Redis 为什么使用队列 使用队列的目的一般是: 1. 异步执行 2. 出错重试 ...
分类：
其他好文 时间：
2019-05-10 13:22:25
阅读次数：
180
1、概述 select，poll，epoll都是IO多路复用的机制。I/O多路复用就是通过一种机制，一个进程可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。但select，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负 ...
分类：
系统相关 时间：
2019-05-01 14:56:40
阅读次数：
158
在Linux 开发中，有几个关系到性能的东西，技术人员非常关注：进程，CPU，MEM，网络IO，磁盘IO。本篇文件打算详细全面，深入浅出。剖析文件IO的细节。从多个角度探索如何提高IO性能。本文尽量用通俗易懂的视角去阐述。不copy内核代码。 阐述之前，要先有个大视角，让我们站在万米高空，鸟瞰我们的 ...
分类：
系统相关 时间：
2019-04-19 20:15:06
阅读次数：
238
1、什么是连接池 数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是再重新建立一个。 2、使用连接池的优点 （1）一个普通的java程序，查询数据库数据的基本流程： 可以看到：进行一次查询，要进行很多次网络交互，这样的缺点是： 1. 网络IO多 2. 响应 ...
分类：
数据库 时间：
2019-04-15 16:21:52
阅读次数：
174
起因最近我们在执行代码更新的时候执行saltstack接收反馈信息特别慢，有时候还会出现卡住的现象，而我们的执行流程是通过saltstack-master发送指令给阿里云部署的enter机，由enter机去执行salt指令，那么我们就登录到这台阿里云的enter机上，执行top发现机器负载很高，但是CPU、内存、磁盘IO、网络IO使用率都不高负载的状态>1、uninterruptible（等
分类：
其他好文 时间：
2019-04-12 13:29:29
阅读次数：
319
NIO 的工作方式 BIO 带来的挑战 BIO : BIO 通信模型，通常由一个独立的 Acceptor 线程负责监听客户端的连接，接受到请求之后，为每个客户端创建一个新的线程进行链路处理，处理完成之后，线程销毁。是典型的 请求 应答通信模型。 BIO 即阻塞 IO，不管是磁盘IO 还是 网络 IO ...
分类：
其他好文 时间：
2019-04-07 12:43:56
阅读次数：
162
[toc] 1 单机版启动 单机版启动大致可以分为如下步骤： 配置文件解析 初始化数据管理器 初始化网络IO管理器 数据恢复 对外服务 1.1 预启动 在 作为启动类，该类会进行如下操作： 解析 配置文件 清理历史数据 根据配置文件中服务器地址列表的数量，判断是单机还是集群启动 创建 真正启动ZK服 ...
分类：
其他好文 时间：
2019-04-05 00:35:57
阅读次数：
129
