Spider类定义了如何爬取某个网站。包括爬取的动作以及如何从网页的内容中提取结构化数据。
Spider就是定义爬取的动作及分析某个网页的地方。爬取的循环:①以初始的URL初始化Request，并设置回调函数。当该request下载完毕并返回时，将生成response，并作为参数传给该回调函数。
spider中初始的request是通过调用start_requests()来获取的。start_r...
分类：
其他好文 时间：
2015-06-02 09:29:28
阅读次数：
440
Nginx下修改php.ini配置文件，需要通过php-cgi的FastCGI来重新加载php.ini文件php-fpm -c | : 查找php.ini文件的目录命令：sudo php-fpm {start｜stop | quit | restart | reload | logrotate}--...
分类：
Web程序 时间：
2015-06-02 01:41:59
阅读次数：
161
这个程序主要功能是显示CPU厂商的Vendor ID源代码如下:.section .data#x是占位符
output:
.ascii "The processor Vendor ID is: 'xxxxxxxxxx'\n"#_start和output都是标签
.section .text#如果用gcc编译的话,_start要改为main
.global _start
_start:...
分类：
编程语言 时间：
2015-06-01 22:50:00
阅读次数：
192
SQL过程代码：
DELIMITER $$
CREATE DEFINER=`root`@`localhost` PROCEDURE `test_procedure`()
BEGIN
DECLARE errno int;
declare continue HANDLER for sqlexception
begin
rollback;
set errno=1;
end;
start ...
分类：
数据库 时间：
2015-06-01 22:33:32
阅读次数：
211
/* *中文截取无乱码 */ function showsubstr_chinese($str, $start, $length = null) { return join("", array_slice( preg_split("//u", $s...
分类：
其他好文 时间：
2015-06-01 22:22:55
阅读次数：
136
//保存图片并返回图片的路径 public function GrabImage($url,$file) {//先读到缓冲区再下载，比直接下载好，直接下载可能下载不全 if($url=="") return false; ob_start();//打开输出缓冲区，也就是暂时不允许输出 rea...
分类：
其他好文 时间：
2015-06-01 11:28:27
阅读次数：
124
用vector投机取巧了。看网上大神的数组代码。双指针的应用。class Solution {public: int removeElement(int A[], int n, int elem) { // Start typing your C/C++ solution bel...
分类：
编程语言 时间：
2015-06-01 11:09:34
阅读次数：
122
My intuition told me that it is a line-scan process.. and yes it is. First, we sort all (a,b,k) by index\start-end, then we do a line scan. And in C++...
分类：
其他好文 时间：
2015-06-01 11:07:34
阅读次数：
95
interface USB { void start(); void stop();}class USBDisk implements USB { @Override public void start() { System.out.println("U盘插入"...
分类：
编程语言 时间：
2015-06-01 00:45:59
阅读次数：
207
获取游戏对象有三种方法：1.通过对象名称获取：objCube=GameObject.Find("Cube");例如：private var objCube:GameObject;private var isCubeRoate=false;function Start () { objCube=Gam...
分类：
编程语言 时间：
2015-05-31 21:33:46
阅读次数：
626
