爬虫 1.基础知识：网站基本原理，html,python,多进程/多线程/协程等（必学） 2.HTML基础、网络请求模块：requests(必学)，urllib(可以了解) 3.需要了解一些常见的反爬策略以及对应的解决方案：常见的有IP频率限制，User-Agent、Referer、Origen验证 ...
分类：
编程语言 时间：
2019-01-20 18:49:04
阅读次数：
180
http: 超文本传输协议，工作在应用层 CentOS 6程序环境：httpd-2.2 配置文件： /etc/httpd/conf/httpd.conf /etc/httpd/conf.d/*.conf 检查配置语法： httpd –t service httpd configtest 服务脚本：/ ...
分类：
Web程序 时间：
2019-01-20 15:07:41
阅读次数：
203
Apache 的三种工作模式（Prefork、Worker、Event） Web服务器Apache目前一共有三种稳定的MPM（Multi-Processing Module，多进程处理模块）模式。 它们分别是prefork，worker、event，它们同时也代表这Apache的演变和发展。 本文原 ...
分类：
Web程序 时间：
2019-01-06 14:31:11
阅读次数：
242
python GIL 给你a, b, c, d, e 5个网站，让你爬 网站基本一样，程序现成的，程序：run.py 只能处理一个网站的抓取工作 原来的url = a 要求性能较好 过程没什么问题，实现细节 5个主机，2个主机怎么办？ 多进程、多线程 优先队列解决不了根本的问题 性能没有任何提升 字 ...
分类：
其他好文 时间：
2018-12-26 22:20:16
阅读次数：
254
拿qq比喻，进程就是一启动qq，qq本身所占用的资源进程，打开win资源管理器，看到的程序都是进程，而多个qq同时登陆就是多进程， 多线程就是打开一个qq后开启多个窗口和不同的人聊天，线程是属于进程的。 java是一种解释性语言，其所运行的程序都是在jvm中运行的，当启动一个java应用程序，就会启 ...
分类：
编程语言 时间：
2018-12-26 00:29:15
阅读次数：
217
什么是进程? 就是为了形容执行中的程序的一种称呼 它是操作系统中资源分配的最小单位 进程之间是数据隔离的,占用操作系统资源相对多 独立存在的谈谈对并发的理解? 同时有多个任务需要执行但是资源有限 所以我们会利用一些手段:多进程\多线程\协程来完成任务 来提高用户体验,达到多个任务在同一个时间段内同时 ...
分类：
其他好文 时间：
2018-12-14 17:40:16
阅读次数：
149
进程间的通讯： 用队列 进程有独立的内存空间 线程： 在一个进程的内部同时进行多件事，进程内的多任务就是子线程 是一种轻型进程，共享内存空间， 多个线程可能同时修改同一个变量 最小的执行单元， 进程至少有一个线程， 由操作系统决定什么时候执行 thread 模块 是一个低级 threading 高级 ...
分类：
编程语言 时间：
2018-12-01 17:07:38
阅读次数：
151
1、多线程： 下面讲一个简单用法，这个模块比较简单，但是实际使用中会遇到很多坑 2、多线程： 注意点： args一定是上面例子中的格式； ...
分类：
编程语言 时间：
2018-11-26 19:53:28
阅读次数：
187
下面是一个 多进程 服务器的创建 下面是一个多进程的 http 服务器 ...
分类：
编程语言 时间：
2018-11-26 17:27:13
阅读次数：
213
一个进程可以多线程，但是多线程就像是十字路，一个线程挂了，如果对多线程的共享堆、全局变量等非栈内存造成了影响，那么它所属的进程就挂了。 而多进程则像是立交桥，互不想干。一个进程挂了不会导致整个程序崩溃。所以在想要保证 程序的可用性（不会动不动就堵塞）是可以使用多进程，也可以保证主进程的稳定，比如在对 ...
分类：
编程语言 时间：
2018-11-17 20:41:21
阅读次数：
221
