高性能异步爬虫目的：在爬虫中使用异步实现高性能的数据爬取操作异步爬虫的方式： - 多线程、多进程（不建议）： 好处：可以为相关阻塞的操作单独开启多线程或进程，阻塞操作就可以异步执行; 弊端：无法无限制的开启多线程或多进程。 - 线程池、进程池（适当的使用）： 好处：我们可以降低系统对进程或线程创建和 ...
分类：
编程语言 时间：
2020-08-31 13:23:39
阅读次数：
70
阿里《Java开发手册》最新嵩山版在 8.3 日发布，其中有一段内容引起了老王的注意，内容如下： 【参考】volatile 解决多线程内存不可见问题。对于一写多读，是可以解决变量同步问题，但是如果多写，同样无法解决线程安全问题。 说明：如果是 count++ 操作，使用如下类实现：AtomicInt ...
分类：
其他好文 时间：
2020-08-31 13:21:34
阅读次数：
45
学习爬虫，其乐无穷！今天给大家带来一个爬虫案例，爬取糗事百科搞笑内涵段子。爬取糗事百科段?，假设??的 URL 是：http://www.qiushibaike.com/8hr/page/1 一、爬取要求： 使?requests 获取??信息，?XPath / re 做数据提取。 获取每个帖??的 ...
分类：
编程语言 时间：
2020-08-31 13:21:14
阅读次数：
69
Java 常用类 1、String类用法 1.1、特点 此类是不可被继承，因为它是final类 此类实现序化接口，支持序列化处理 String实现Comparable比较器，支持自然排序 String的字符串内容，底层也是使用char[]数组存储， 并且此数组是一个final数组 因为char是fi ...
分类：
编程语言 时间：
2020-08-31 11:56:52
阅读次数：
55
一、进程和线程 进程：每个进程都有独立的代码和数据空间（进程上下文），进程间的切换会有较大的开销，一个进程包含1--n个线程。 线程：同一类线程共享代码和数据空间，每个线程有独立的运行栈和程序计数器(PC)，线程切换开销小。 线程和进程一样分为五个阶段：创建、就绪、运行、阻塞、终止。 多进程是指操作 ...
分类：
编程语言 时间：
2020-08-31 11:54:36
阅读次数：
42
前言如果按照用途与特性进行粗略的划分，JUC包中包含的工具大体可以分为6类：执行者与线程池并发队列同步工具并发集合锁原子变量在【并发系列】中，主要讲解了执行者与线程池，同步工具，锁，在分析源码时，或多或少的提及到了「队列」，队列在JUC中也是多种多样存在，所以本文就以「远看」视角，帮助大家快速了解与区分这些看似「杂乱」的队列并发队列Java并发队列按照实现方式来进行划分可以分为2种：阻塞队列非阻塞
分类：
编程语言 时间：
2020-08-29 15:22:08
阅读次数：
54
org.apache.spark.scheduler.DAGScheduler#submitMissingTasks => org.apache.spark.scheduler.TaskSchedulerImpl#submitTasks // First figure out the indexes ...
分类：
其他好文 时间：
2020-08-28 14:42:00
阅读次数：
47
协程是实现并发编程的一种方式。一说并发，你肯定想到了多线程/多进程模型，没错，多线程/多进程，正是解决并发问题的经典模型之一。最初的互联网世界，多线程/多进程在服务器并发中，起到举足轻重的作用。随着互联网的快速发展，你逐渐遇到了 C10K 瓶颈，也就是同时连接到服务器的客户达到了一万个。于是很多代码 ...
分类：
其他好文 时间：
2020-08-28 14:27:29
阅读次数：
39
1. 文件远程传输主要涉及3点: 请求方式, 媒体类型, 序列化与反序列化, 把握住了这3点,基本上就可以搞 2. 使用Feign传输,首先搭建起Feign的架子 2.1 引入spring-cloud-starter-eureka-server依赖,用于启动一个eureka注册中心 2.2 引入sp ...
分类：
编程语言 时间：
2020-08-28 12:03:04
阅读次数：
91
一文讲透“进程，线程和协程” 本文从操作系统原理出发结合代码实践讲解了以下内容： 什么是进程，线程和协程？ 它们之间的关系是什么？ 为什么说Python中的多线程是伪多线程？ 不同的应用场景该如何选择技术方案？ ... 什么是进程 进程-操作系统提供的抽象概念，是系统进行资源分配和调度的基本单位，是 ...
分类：
编程语言 时间：
2020-08-27 17:05:24
阅读次数：
57
