1、简介 Scrapy终端是一个交互终端，可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看它们的工作方式，方便在爬取的网页中提取数据。 如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终 ...
分类：
系统相关 时间：
2020-05-11 19:03:07
阅读次数：
72
#全盘搜索木马文件，并记录在/tmp/php.txt文件内 find / -name "*.php" |xargs egrep "phpspy|c99sh|milw0rm|eval(gunerpress|eval(base64_decoolcode|spider_bc))" > /tmp/php.t ...
分类：
系统相关 时间：
2020-05-11 13:42:30
阅读次数：
103
runspider：不依赖创建项目 命令：scrapy runspider myspider.py 等同于 pyhton myspider.py crawl：使用spider进行爬取，依赖项目创建 命令：scrapy crawl myspider 更多命令行工具：https://scrapy-chs ...
分类：
编程语言 时间：
2020-05-08 23:07:13
阅读次数：
162
Linux 后台运行python .sh等程序，以及查看和关闭后台运行程序操作 1、运行.sh文件 直接用./sh 文件就可以运行，但是如果想后台运行，即使关闭当前的终端也可以运行的话，需要nohup命令和&命令。 （1）&命令 功能：加在一个命令的最后，可以把这个命令放在后台执行 （2）nohup ...
分类：
编程语言 时间：
2020-05-04 00:18:50
阅读次数：
95
登录人人网的一个小例子： 1 # -*- coding: utf-8 -*- 2 import scrapy 3 import re 4 5 class RenrenSpider(scrapy.Spider): 6 name = 'renren' 7 allowed_domains = ['renr ...
分类：
其他好文 时间：
2020-05-03 18:51:06
阅读次数：
108
String StringBuilder StringBuffer 的区别 String：不可改变的字符串，不能够被修改 （https://baijiahao.baidu.com/s?id=1636970438936163189&wfr=spider&for=pc） 创建一个全局变量 str = " ...
分类：
其他好文 时间：
2020-05-03 18:40:16
阅读次数：
53
格式：wget http://url wget参数： -O 下载到指定路径并改名；格式：wget -O 指定路径文件名 http://url --spider 爬虫；检查网站是不是好的，不会下载。 -T 指定超时时间，单位秒。 --tries=2 指定重试的次数。 ...
分类：
其他好文 时间：
2020-05-02 09:55:26
阅读次数：
44
https://baijiahao.baidu.com/s?id=1658762189755959240&wfr=spider&for=pc 报错：0/3 nodes are available: 1 node(s) had taints that the pod didn't tolerate, ...
分类：
其他好文 时间：
2020-04-28 20:28:19
阅读次数：
69
A C++ header-only HTTP/HTTPS server and client libraryhttps://github.com/yhirose/cpp-httplib Windows下Qt Http Server例子 pro文件 SOURCES += \ main.cpp HEAD ...
分类：
编程语言 时间：
2020-04-26 10:41:20
阅读次数：
616
说明：无意滋生事端，仅学习分享，如有侵权，立即删除 用到的模块：json、lxml的etree、time.ctime、requests 源码如下： import requests import time from lxml import etree import json class BiLiSpi ...
分类：
其他好文 时间：
2020-04-24 21:28:50
阅读次数：
145
