#coding=utf-8import requestsimport threadingimport timeimport os def check(i,total): global eu #os.system("title Spider,Current threads: %d,URLs left: ...
分类：
编程语言 时间：
2016-09-06 14:00:49
阅读次数：
255
引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址 下载 ...
分类：
其他好文 时间：
2016-09-01 09:15:19
阅读次数：
338
题目链接： http://codeforces.com/problemset/problem/705/B 题目大意： 两个人玩游戏，总共N个数，分别求前I(I=1 2 3...n)个数时游戏的获胜者是谁。 游戏规则是可以把一个大于2的数拆成任意大小的两个数，1不能拆，问谁先不能拆谁输。先手输输出2， ...
分类：
其他好文 时间：
2016-08-22 01:59:39
阅读次数：
281
一、网络爬虫 网络爬虫又被称为网络蜘蛛（🕷?），我们可以把互联网想象成一个蜘蛛网，每一个网站都是一个节点，我们可以使用一只蜘蛛去各个网页抓取我们想要的资源。举一个最简单的例子，你在百度和谷歌中输入‘Python'，会有大量和Python相关的网页被检索出来，百度和谷歌是如何从海量的网页中检索出你想 ...
分类：
编程语言 时间：
2016-08-15 12:48:10
阅读次数：
279
Description Peter Parker wants to play a game with Dr. Octopus. The game is about cycles. Cycle is a sequence of vertices, such that first one is conn ...
分类：
其他好文 时间：
2016-08-10 15:55:17
阅读次数：
253
A - Spider Man Crawling in process... Crawling failed Time Limit:2000MS Memory Limit:262144KB 64bit IO Format:%I64d & %I64u Submit Status Description ...
分类：
其他好文 时间：
2016-08-09 22:18:06
阅读次数：
337
CF 复仇者联盟场。。。 水题 A - Hulk（绿巨人） 输出love hate。。。 博弈+打表找规律 B - Spider Man（蜘蛛侠） 注意到每次多一个圈，之前的还是初始状态，各组是独立的，所以打个表或者分析一下就能找到规律。 构造 C - Thor（雷神） 题意：一个手机有n个应用，有 ...
分类：
其他好文 时间：
2016-08-08 19:08:15
阅读次数：
168
【CF简介】
题目链接：CF 705B
题面：
B. Spider Man
time limit per test
2 seconds
memory limit per test
256 megabytes
input
standard input
output
standard output
Peter Park...
分类：
编程语言 时间：
2016-08-08 11:06:08
阅读次数：
253
题意：给定 n 个数，表示不同的环，然后把环拆成全是1，每次只能拆成两个，问你有多少次。 析：也不难，反正都要变成1，所以把所有的数都减1，再求和即可。 代码如下： ...
分类：
其他好文 时间：
2016-08-08 06:26:24
阅读次数：
201
webmagic 是一个很好并且很简单的爬虫框架，其教程网址：http://my.oschina.net/flashsword/blog/180623 webmagic参考了scrapy的模块划分，分为Spider(整个爬虫的调度框架)、Downloader(页面下载)、PageProcessor( ...
分类：
Web程序 时间：
2016-08-06 18:47:43
阅读次数：
858
