利用多线程爬取，除了先前用到的几个模块之外，还需用到threading模块和queue模块： 为每一件事情开启一个线程：构造url_list、发送请求、提取数据、保存数据 __init__方法添加三个实例属性队列分别存放：url、响应内容、处理后的数据 改写原先每一个方法里的代码，需要的东西直接从队 ...
分类：
编程语言 时间：
2019-07-02 18:53:43
阅读次数：
138
首先还是谷歌浏览器抓包对该网站数据进行分析，结果如下： 该网站地址：http://www.budejie.com/text 该网站数据都是通过html页面进行展示，网站url默认为第一页，http://www.budejie.com/text/2为第二页，以此类推 对网站的内容段子所处位置进行分析， ...
分类：
Web程序 时间：
2019-06-30 17:17:37
阅读次数：
161
推荐分享一个大神的人工智能教程。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到人工智能的队伍中来！http://www.captainbed.net/strongerhuang 我的网站：https://www.strongerhuang.com 我的知乎：https://www.zhihu ...
分类：
其他好文 时间：
2019-06-29 16:25:12
阅读次数：
154
在大型公司里，一般都会用到子网划分，来解决网络风暴的产生。也有通过子网划分来解决组播和广播的优化网络的。本教程，通过简单的文字，让你充分了解并掌握子网划分技术，并运用到实践当中方法/步骤：IP地址划分，以Ｃ网为例介绍，子网掩码划分。下面我们随便找个一个网段并赋上相应的子网位数。如 192.168.1.10/27平时大家用的是192.168.0.或192.168.1.网段，子网掩码是255.255
分类：
其他好文 时间：
2019-06-08 22:50:52
阅读次数：
129
1、程序猿最烦两件事，第一件事是别人要他给自己的代码写文档，第二件呢？是别人的程序没有留下文档。2、程序猿的读书历程：x 语言入门 —> x 语言应用实践 —> x 语言高阶编程 —> x 语言的科学与艺术 —> 编程之美 —> 编程之道 —> 编程之禅—> 颈椎病康复指南。3、还没上大学的时候，高 ...
分类：
其他好文 时间：
2019-06-07 21:22:38
阅读次数：
129
1.不完全状态记录<1>青蛙过河问题<2>利用区间dp2.背包类问题<1> 0-1背包，经典问题<2>无限背包，经典问题<3>判定性背包问题<4>带附属关系的背包问题<5> + -1背包问题<6>双背包求最优值<7>构造三角形问题<8>带上下界限制的背包问题(012背包)3.线性的动态规划问题<1> ...
分类：
其他好文 时间：
2019-06-07 17:56:11
阅读次数：
107
1 2 3 4 5 抽屉 6 185 186 187 188 189 190 191 192 193 194 195 全部 196 42区 197 段子... ...
分类：
其他好文 时间：
2019-06-04 12:56:16
阅读次数：
95
外观模式（Facade）:为了系统中一组接口提供一个一致的界面，此模式定义了一个高层接口，这个接口使得这一子系统更加容易使用。 何时使用外观模式： 在设计初期阶段，应该要有意识的将不同的两个层分离，层与层之间建立外观（Facade）。 在开发阶段，子系统往往因为不断的重构演化而变得越来越复杂，增加外 ...
分类：
其他好文 时间：
2019-05-22 20:58:43
阅读次数：
106
传送门：https://vjudge.net/problem/POJ-2566 题意 ：给出一个整数列，有正数和负数，求一段子串之和的绝对值最接近所给出的t。并输出该段子序列之和及左右端点。 听了胡老师的建议，最近都是以挑战程序设计竞赛为主线。这题也是从那里过来的。其实尺取法就是双指针，但是要注意单 ...
分类：
其他好文 时间：
2019-05-09 23:35:32
阅读次数：
238
[TOC] scrapy框架之递归解析和post请求 递归爬取解析多页页面数据 需求：将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储 需求分析：每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发起请求，然后通过对应的解析方法进行作者和段子内容的解析。 实现方案 ...
分类：
其他好文 时间：
2019-05-04 18:39:21
阅读次数：
97
