高性能异步爬虫目的：在爬虫中使用异步实现高性能的数据爬取操作异步爬虫的方式： - 多线程、多进程（不建议）： 好处：可以为相关阻塞的操作单独开启多线程或进程，阻塞操作就可以异步执行; 弊端：无法无限制的开启多线程或多进程。 - 线程池、进程池（适当的使用）： 好处：我们可以降低系统对进程或线程创建和 ...
分类：
编程语言 时间：
2020-08-31 13:23:39
阅读次数：
70
一、进程和线程 进程：每个进程都有独立的代码和数据空间（进程上下文），进程间的切换会有较大的开销，一个进程包含1--n个线程。 线程：同一类线程共享代码和数据空间，每个线程有独立的运行栈和程序计数器(PC)，线程切换开销小。 线程和进程一样分为五个阶段：创建、就绪、运行、阻塞、终止。 多进程是指操作 ...
分类：
编程语言 时间：
2020-08-31 11:54:36
阅读次数：
42
SpringWebClientvs.RestTemplate点击左上角蓝字，关注“锅外的大佬”专注分享国外最新技术内容1.简介本教程中，我们将对比Spring的两种Web客户端实现——RestTemplate和Spring5中全新的Reactive替代方案WebClient。阻塞式vs非阻塞式客户端Web应用中，对其他服务进行HTTP调用是一个很常见的需求。因此，我们需要一个Web客户端工具。2.
分类：
编程语言 时间：
2020-08-29 15:22:30
阅读次数：
60
前言如果按照用途与特性进行粗略的划分，JUC包中包含的工具大体可以分为6类：执行者与线程池并发队列同步工具并发集合锁原子变量在【并发系列】中，主要讲解了执行者与线程池，同步工具，锁，在分析源码时，或多或少的提及到了「队列」，队列在JUC中也是多种多样存在，所以本文就以「远看」视角，帮助大家快速了解与区分这些看似「杂乱」的队列并发队列Java并发队列按照实现方式来进行划分可以分为2种：阻塞队列非阻塞
分类：
编程语言 时间：
2020-08-29 15:22:08
阅读次数：
54
1.简介三月份已经介绍过R2DBC,它是一种异步的、非阻塞的关系式数据库连接规范。尽管一些NoSQL数据库供应商为其数据库提供了反应式数据库客户端，但对于大多数项目而言，迁移到NoSQL并不是一个理想的选择。这促使了一个通用的响应式关系数据库连接规范的诞生。作为拥有庞大用户群的关系式数据库MySQL也有了反应式驱动，不过并不是官方的。但是Spring官方将其纳入了依赖池，说明该类库的质量并不低。所
分类：
数据库 时间：
2020-08-24 16:44:43
阅读次数：
77
程序员经常要面临的一个问题就是：如何提高程序性能?这篇文章，我们循序渐进，从内存、磁盘I/O、网络I/O、CPU、缓存、架构、算法等多层次递进，串联起高性能开发十大必须掌握的核心技术。I/O优化：零拷贝技术I/O优化：多路复用技术线程池技术无锁编程技术进程间通信技术RPC&&序列化技术数据库索引技术缓存技术&&布隆过滤器全文搜索技术负载均衡技术准备好了吗，坐稳了，发
分类：
其他好文 时间：
2020-08-24 16:28:12
阅读次数：
61
SAVE 和 BGSAVE 两个命令都会调用 rdbSave 函数，但它们调用的方式各有不同： SAVE 直接调用 rdbSave ，阻塞 Redis 主进程，直到保存完成为止。在主进程阻塞期间，服务器不能处理客户端的任何请求。 BGSAVE 则 fork 出一个子进程，子进程负责调用 rdbSav ...
分类：
其他好文 时间：
2020-08-19 19:38:59
阅读次数：
53
Java BIO 一、Java BIO 基本介绍 1.1概念： Java BIO 就是传统的java io 编程，其相关的类和接口在 java.io BIO(blocking I/O) ： 同步阻塞，服务器实现模式为一个连接一个线程，即客户端有连接请求时服务器端就需要启动一个线程进行处理，如果这个连 ...
分类：
编程语言 时间：
2020-08-19 19:24:24
阅读次数：
71
也许很多朋友在学习NIO的时候都会感觉有点吃力，对里面的很多概念都感觉不是那么明朗。在进入Java NIO编程之前，我们今天先来讨论一些比较基础的知识：I/O模型。下面本文先从同步和异步的概念 说起，然后接着阐述了阻塞和非阻塞的区别，接着介绍了阻塞IO和非阻塞IO的区别，然后介绍了同步IO和异步IO ...
分类：
编程语言 时间：
2020-08-19 19:20:06
阅读次数：
69
1.进程的概念:一个具有一定独立功能的程序关于某个数据集合的一次运动活动，是系统进行资源调度和分配的基本单位 2.进程的常见状态： 就绪：已经获得出cpu外的所有必要资源，只要获得cpu就可运行，进程处于已经准备好的状态 执行：已经获得cpu，正在执行 阻塞：正在执行的进程由于发生某种事件暂时无法工 ...
分类：
其他好文 时间：
2020-08-19 19:19:23
阅读次数：
71
