一、多任务简介 1、为什么要使用多任务爬虫？ 在大量的url需要请求时，单线程/单进程去爬取，速度太慢，此时cpu不工作，浪费cpu资源。 爬取与写入文件分离，可以规避io操作，增加爬取速度，充分利用cpu。 2、多任务分类 进程：进程是操作资源分配的最小单位，一个运行的程序，至少包括一个进程，进程 ...
分类：
其他好文 时间：
2020-03-31 01:20:58
阅读次数：
58
进程都是运行在物理内存上 linux 进程中通信方式 1.无名管道 （无文件名，适合亲缘进程通信） pipe() 函数实现 write read IO操作函数 以文件方式来读取，写入操作数据 因为没有文件名，无法调用open()函数打开文件 2 有名管道 （有文件名） 3.消息队列（网状通信） ip ...
分类：
系统相关 时间：
2020-03-25 19:19:59
阅读次数：
73
非常适合小白的 Asyncio 教程 原文：https://segmentfault.com/a/1190000008814676 所谓「异步 IO」，就是你发起一个 IO 操作，却不用等它结束，你可以继续做其他事情，当它结束时，你会得到通知。 Asyncio 是并发（concurrency）的一种 ...
分类：
其他好文 时间：
2020-03-24 19:17:01
阅读次数：
78
文末领取面试题 高清PDF 数据库基础知识 1. 为什么要使用数据库 数据保存在内存 优点：存取速度快 缺点：数据不能永久保存 数据保存在文件 优点：数据永久保存 缺点：1）速度比内存操作慢，频繁的IO操作。2）查询数据不方便 数据保存在数据库 1）数据永久保存 2）使用SQL语句，查询方便效率高。 ...
分类：
数据库 时间：
2020-03-24 01:08:50
阅读次数：
86
1.在程序中一般有5中IO model 1.blocking IO 阻塞 IO 2.nonbiocking IO 非阻塞IO 3.IO multiplexing IO多路复用 4.signal driven IO 信号驱动IO（基本上不用) 5.asynchronous 异步IO 2.在进行IO操作 ...
分类：
其他好文 时间：
2020-03-21 18:24:21
阅读次数：
72
一. Channel接口 1. 基本的IO操作：bind()，connect()，read()，write()； 2. Channel接口提供的API降低了直接使用Socket类的复杂性； 3. 拥有许多预定义的，专门化实现的类：EmbeddedChannel，LocalServiceChannel ...
分类：
其他好文 时间：
2020-03-19 21:58:11
阅读次数：
85
1.1 布隆过滤器 1、布隆过滤器是什么？（判断某个key一定不存在） 1. 本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构 2. 特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”。 3. 相比于传统的 List、Set、Map 等数据结构，它更高效、占用空间更少 ...
分类：
其他好文 时间：
2020-03-16 23:26:54
阅读次数：
58
字符集的选择 字符集直接决定了数据在MySQL中的存储编码方式，由于同样的内容使用不同字符集表示所占用的空间大小会有较大的差异，所以通过使用合适的字符集，可以帮助我们尽可能减少数据量，进而减少IO操作次数。 1.纯拉丁字符能表示的内容，没必要选择 latin1 之外的其他字符编码，因为这会节省大量的 ...
分类：
数据库 时间：
2020-03-13 01:40:44
阅读次数：
82
Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，作为一个异步NIO框架，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。
作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，一些业界著名的开源组件也基于Netty的NIO框架构建。
分类：
编程语言 时间：
2020-03-08 23:19:21
阅读次数：
82
一、问题 传统的Linux io操作，直接与io交互的话，首先得寻址，这个寻址是个很耗时的过程。为了减少与磁盘的io，加了一个page cache层，也就是os cache。如果page cache有的话就不需要到磁盘里找了，直接返回，这个速度就很快了。如果没有再到磁盘里查询，进行读写。那么一次io ...
分类：
其他好文 时间：
2020-03-07 21:07:24
阅读次数：
78
