前言作为一名合格的furry，我不仅要吸娜娜奇，还要天天泡在fa吸大触们的furry作品，这其中难免遇到某个十分喜爱的作者，于是便想down空此作者的所有作品。鉴于一张张的保存实在费时费力，写个爬虫来解决眼前的问题似乎再好不过了，所以便有了现在这个下载器。功能介绍根据作者名批量下载此作者的所有作品，... ...
分类：
其他好文 时间：
2017-10-28 19:04:32
阅读次数：
147
无意间看到了网上python爬1024的文章，就想着晚点自己去撸一个全自动小电影下载器（就不用每次选半天了），上班挂着，下班回去就可以看了（身体已经被妹纸掏空了，还看），于是自己先试着写一个简单的爬虫，目标自然是博客园：使用简单的正则表达式匹配，当然也可以使用网上广泛使用的BeautifulSoup ...
分类：
编程语言 时间：
2017-09-30 17:41:16
阅读次数：
175
浏览器访问：httpbin.org 使用gunicorn将这个网站clone到本地启动 注意：需要进入虚拟环境启动 页面运行在 http://127.0.0.1:8000 网页下载器 这个工具可以在全局环境中运行 ~END ...
分类：
编程语言 时间：
2017-09-26 12:58:24
阅读次数：
200
原文: 为什么要增加随机请求头：更好地伪装浏览器，防止被 Ban。 如何在每次请求时，更换不同的 user_agent，Scrapy 使用 Middleware 即可 Spider 中间件 (Middleware) 下载器中间件是介入到 Scrapy 的 spider 处理机制的钩子框架，可以添加代 ...
分类：
其他好文 时间：
2017-09-23 13:45:27
阅读次数：
273
$catdowonload_p_w_picpath.sh
#!/bin/bash
#########################################
#图片下载器#
#script_name:dowonload_p_w_picpath.sh#
#author:weixiaoxinwriteby2017-09-20#
#########################################
functionget_second_level_url(){
#declare-A..
分类：
系统相关 时间：
2017-09-11 10:11:43
阅读次数：
320
1. Firefox 文件下载 对于Firefox，需要我们设置其Profile： browser.download.dir：指定下载路径 browser.download.folderList：设置成 2 表示使用自定义下载路径；设置成 0 表示下载到桌面；设置成 1 表示下载到默认路径 brow ...
分类：
编程语言 时间：
2017-09-08 18:02:47
阅读次数：
116
#https://zhuanlan.zhihu.com/p/26342933 # pycharm中新建并导入工程#讲解scrapy基本架构及文件用处 引擎从调度器中取出一个链接(URL)用于接下来的抓取 引擎把URL封装成一个请求(Request)传给下载器 下载器把资源下载下来，并封装成应答包(R ...
分类：
其他好文 时间：
2017-08-29 14:33:23
阅读次数：
500
python已经学习了1个月了，希望自己能坚持下去。 源码方面，下载器多进程多线程似乎不合理了，可以尝试用携程减少CPU的使用率，但网页掉包的问题目前没想到 Ftp 思路清晰，但代码量太大，目前解决了通信粘包问题，但感觉代码有点渣可优化的地方实在太多。 目前还是先看教程，回头在从新弄。 html学习 ...
分类：
其他好文 时间：
2017-08-17 00:32:32
阅读次数：
180
网页下载器：将互联网上URL对应的网页下载到本地的工具 通过网页下载器将互联网中的url网页，存储到本地或内存字符串 python有哪几种网页下载器？ 1.urllib2 python官方基础模块 2.requests python第三方包更强大 urllib2下载网页方法1：最简洁方法 url > ...
分类：
Web程序 时间：
2017-08-14 20:02:06
阅读次数：
168
调度器： url管理器： 网页下载器： 网页解析器： 输出： ...
分类：
编程语言 时间：
2017-08-06 14:58:35
阅读次数：
147
