前些天学习python,完成了python练习册的大部分习题：https://github.com/Show-Me-the-Code/python（我的github上有习题代码，欢迎自取）。之后看到@salamer的一个python爬虫项目，觉得很不错。于是自己花了４天的时间完成了一个大规模爬取知乎用户信息的爬虫，由于个人网络原因，爬取12小时，获得了34k用户的信息（理论上可以爬全站的信息，可能...
分类：
编程语言 时间：
2016-05-07 07:16:31
阅读次数：
267
这篇文章主要讲述了使用python+selenium爬取新浪微博的热点话题和评论信息。其中使用该爬虫的缺点是效率极低，傻瓜式的爬虫，不能并行执行等，但是它的优点是采用分析DOM树结构分析网页源码并进行信息爬取，同时它可以通过浏览器进行爬取中间过程的演示及验证码的输入。这篇文章对爬虫的详细过程就不再论述了，主要是提供可运行的代码和运行截图即可。希望文章对你有所帮助吧~...
分类：
移动开发 时间：
2016-05-06 09:31:23
阅读次数：
1034
为了做一个百度网盘搜索引擎，哥开始研究爬虫，从此迷上爬虫而一发不可收拾，现在就大概谈谈哥的爬虫之路，顺便给出引擎：http://www.quzhuanpan.com 首先基本的 Python 语法你要了解吧，推荐一本书《Python基础教程》，很适合入门。 其次分析你的爬虫需求。程序具体 流程是怎么 ...
分类：
编程语言 时间：
2016-05-05 12:24:53
阅读次数：
166
没有爬虫就没有互联网，越来越觉得写 Python 爬虫原来是一件快乐而高兴的事情，以下是本人收集整理的一批 python 爬虫代码，顺便分享到了别的网站上，喜欢的下下来看看吧。
分类：
Web程序 时间：
2016-05-05 10:23:47
阅读次数：
399
Posted on March 25th, 2012 under Express.js, Node.jsTags: Express.js, git, GitHub, node.js Looking for a good tutorial on Express.js to help you get q ...
分类：
Web程序 时间：
2016-05-04 09:01:41
阅读次数：
344
转载请告知去转盘网：http://www.quzhuanpan.com 1）首先你要明白爬虫怎样工作。 想象你是一只蜘蛛，现在你被放到了互联“网”上。那么，你需要把所有的网页都看一遍。怎么办呢？没问题呀，你就随便从某个地方开始，比如说人民日报的首页，这个叫initial pages，用$表示吧。 2 ...
分类：
编程语言 时间：
2016-04-30 18:14:36
阅读次数：
188
前一篇文章"[python爬虫] Selenium爬取新浪微博内容及用户信息"简单讲述了如何爬取新浪微博手机端用户信息和微博信息。
用户信息：包括用户ID、用户名、微博数、粉丝数、关注数等。微博信息：包括转发或原创、点赞数、转发数、评论数、发布时间。
而这篇文章主要爬取客户端的微博信息，相对信息更多；同时登录微博后在输入框中搜索热点话题，然后依次爬取微博信息和对应的评论，同时遇到了评论动态加载的爬取问题。...
分类：
编程语言 时间：
2016-04-29 19:01:12
阅读次数：
293
符号： . : 匹配任意字符（类似占位符，多少个.就表示多少个字符），换行符除外（与re.S相反） *:匹配前面一个字符0次或无限次 ?:匹配前面一个字符0次或1次 组合： .* : 贪心算法 一次匹配尽多 .*? :非贪心算法 匹配少量多次 () :括号内的数据作为返回结果 (.*?) :需要查找 ...
分类：
编程语言 时间：
2016-04-29 01:36:55
阅读次数：
175
用python也差不多一年多了，python应用最多的场景还是web快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。 爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。 1、基本抓取网页 get方法 post方法 2、使用代理I ...
分类：
编程语言 时间：
2016-04-27 18:34:21
阅读次数：
425
想要开发一个简单的Python爬虫案例，并在Python3以上的环境下运行，那么需要掌握哪些知识才能完成一个简单的Python爬虫呢？ 爬虫的架构实现 爬虫包括调度器，管理器，解析器，下载器和输出器。调度器可以理解为主函数的入口作为整个爬虫的头部，管理器实现包括对URL是否重复进行 判断，将已经爬到 ...
分类：
编程语言 时间：
2016-04-25 00:24:38
阅读次数：
238
