获取本机IP /sbin/ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:" 获取本机外网ip 如果是MAC，则用浏览器访问 百度 搜索 ip 如果是服务器，则登录上去后curl h ...
分类：
系统相关 时间：
2018-10-14 01:57:52
阅读次数：
173
首先把爬虫写好后————》在同级文件夹新建一个文件夹（类似于日志）info————》接下来打开命令行cd到这个爬虫 ————》输入命令： 暂停之后需要重启第一行命令：scrapy crawl spider -s JOBDIR=info/001 尽量在命令行上做 ...
分类：
其他好文 时间：
2018-10-04 09:26:03
阅读次数：
209
how to chanage the file of scrapy to csv or json file， we used the commond that is "scrapy crawl 【parse_file_name】 -o 【filename】+ .json/.csv" Waring: ...
分类：
其他好文 时间：
2018-10-02 00:23:05
阅读次数：
177
这次给大家带来的是通过Egret实现密室逃生小游戏的教程。该游戏包括人物状态机、MVC设计模式和单例模式，该游戏在1.5s内通过玩家点击操作寻找安全点，方可进入下一关，关卡无限，分数无限。下面是具体的模块介绍和代码实现。 该游戏主要内容包括 开始游戏场景 游戏场景 游戏结束结算场景 全局常量类 人物 ...
分类：
其他好文 时间：
2018-09-30 10:47:33
阅读次数：
164
Error handling and Go 12 July 2011 Introduction If you have written any Go code you have probably encountered the built-in error type. Go code uses er ...
分类：
其他好文 时间：
2018-09-25 11:33:47
阅读次数：
184
如果要文件管道保存为原有的文件名 需要重写文件管道的方法 pipeitem文件 setting配置 spider文件 item文件 ...
分类：
其他好文 时间：
2018-09-24 17:02:12
阅读次数：
210
Crond 关于编写完成的爬虫脚本，我们后续的操作无非是定时执行，以及挂掉的监听。定时执行的话可以用到crontab. crontab文件的含义： 用户所建立的crontab文件中，每一行都代表一项任务，每行的每个字段代表一项设置，它的格式共分为六个字段，前五段是时间设定段，第六段是要执行的命令段， ...
分类：
其他好文 时间：
2018-09-19 22:01:25
阅读次数：
164
黑板课爬虫闯关，第一关非常的简单，get 请求网址，在响应的 html 中用正则获取需要在网址后面输入的数字，生成新的 url，继续请求，直到通关。 ...
分类：
编程语言 时间：
2018-09-15 15:18:44
阅读次数：
179
转 Python爬虫突破封禁的6种常见方法 2016年08月17日 22:36:59 阅读数：37936 在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序 ...
分类：
编程语言 时间：
2018-09-05 13:57:15
阅读次数：
211
requests 库是一个阻塞式HTTP请求库，当我们发出一个请求后，程序会一直等待服务器响应，直到得到响应后，程序才会进行下一步处理。 aiohttp可以提供异步web服务的库，在等待过程中做一些其他事情，如请求的调度、响应的处理 JavaScript 使得用户与信息之间不只是一种浏览与显示的关系 ...
分类：
编程语言 时间：
2018-08-22 01:11:42
阅读次数：
167
