为了做一个百度网盘搜索引擎，哥开始研究爬虫，从此迷上爬虫而一发不可收拾，现在就大概谈谈哥的爬虫之路，顺便给出引擎：http://www.quzhuanpan.com 首先基本的 Python 语法你要了解吧，推荐一本书《Python基础教程》，很适合入门。 其次分析你的爬虫需求。程序具体 流程是怎么 ...
分类：
编程语言 时间：
2016-05-05 12:24:53
阅读次数：
166
没有爬虫就没有互联网，越来越觉得写 Python 爬虫原来是一件快乐而高兴的事情，以下是本人收集整理的一批 python 爬虫代码，顺便分享到了别的网站上，喜欢的下下来看看吧。
分类：
Web程序 时间：
2016-05-05 10:23:47
阅读次数：
399
转载请告知去转盘网：http://www.quzhuanpan.com 1）首先你要明白爬虫怎样工作。 想象你是一只蜘蛛，现在你被放到了互联“网”上。那么，你需要把所有的网页都看一遍。怎么办呢？没问题呀，你就随便从某个地方开始，比如说人民日报的首页，这个叫initial pages，用$表示吧。 2 ...
分类：
编程语言 时间：
2016-04-30 18:14:36
阅读次数：
188
前一篇文章"[python爬虫] Selenium爬取新浪微博内容及用户信息"简单讲述了如何爬取新浪微博手机端用户信息和微博信息。
用户信息：包括用户ID、用户名、微博数、粉丝数、关注数等。微博信息：包括转发或原创、点赞数、转发数、评论数、发布时间。
而这篇文章主要爬取客户端的微博信息，相对信息更多；同时登录微博后在输入框中搜索热点话题，然后依次爬取微博信息和对应的评论，同时遇到了评论动态加载的爬取问题。...
分类：
编程语言 时间：
2016-04-29 19:01:12
阅读次数：
293
符号： . : 匹配任意字符（类似占位符，多少个.就表示多少个字符），换行符除外（与re.S相反） *:匹配前面一个字符0次或无限次 ?:匹配前面一个字符0次或1次 组合： .* : 贪心算法 一次匹配尽多 .*? :非贪心算法 匹配少量多次 () :括号内的数据作为返回结果 (.*?) :需要查找 ...
分类：
编程语言 时间：
2016-04-29 01:36:55
阅读次数：
175
用python也差不多一年多了，python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。 爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。 1、基本抓取网页 get方法 post方法 2、使用代理I ...
分类：
编程语言 时间：
2016-04-27 18:34:21
阅读次数：
425
想要开发一个简单的Python爬虫案例，并在Python3以上的环境下运行，那么需要掌握哪些知识才能完成一个简单的Python爬虫呢？ 爬虫的架构实现 爬虫包括调度器，管理器，解析器，下载器和输出器。调度器可以理解为主函数的入口作为整个爬虫的头部，管理器实现包括对URL是否重复进行 判断，将已经爬到 ...
分类：
编程语言 时间：
2016-04-25 00:24:38
阅读次数：
238
我们的目标是用爬虫来干一件略污事情 最近听说煎蛋上有好多可爱的妹子，而且爬虫从妹子图抓起练手最好，毕竟动力大嘛。而且现在网络上的妹子很黄很暴力，一下接受太多容易营养不量，但是本着有人身体就比较好的套路，特意分享下用点简单的技术去获取资源。 以后如果有机会，再给大家说说日本爱情动（大）作（雾）片的种子 ...
分类：
编程语言 时间：
2016-04-24 17:15:03
阅读次数：
276
前一篇文章"[python爬虫] Selenium爬取新浪微博内容及用户信息"简单讲述了如何爬取新浪微博手机端用户信息和微博信息。
用户信息：包括用户ID、用户名、微博数、粉丝数、关注数等。微博信息：包括转发或原创、点赞数、转发数、评论数、发布时间。
而这篇文章主要爬取客户端的微博信息，相对信息更多；同时登录微博后在输入框中搜索热点话题，然后依次爬取微博信息和对应的评论，同时遇到了评论动态加载的爬取问题。...
分类：
编程语言 时间：
2016-04-24 08:42:56
阅读次数：
997
作者：谢科 来源：知乎链接：https://www.zhihu.com/question/20899988/answer/24923424著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 “入门”是良好的动机，但是可能作用缓慢。如果你手里或者脑子里有一个项目，那么实践起来你会被目 ...
分类：
编程语言 时间：
2016-04-24 06:19:06
阅读次数：
324
