网络爬虫，是在网上进行数据抓取的程序，使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序，但是使用框架可以大大提高效率，缩短开发时间。Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不需要自己费大力气去开发。
首先先要回答一个问题。
问：把网站装进爬虫里，...
分类：
编程语言 时间：
2016-06-21 07:30:58
阅读次数：
227
If you get the following error when you’ve created a new class in Xcode and you’ve choose also to create nib file and you try to connect for example a ...
分类：
其他好文 时间：
2016-06-18 19:51:47
阅读次数：
246
2016-6-18 --今天实现了第一个用urllib2实现的爬虫程序。 --过程中发现 总是报错： 主要原因在于 url 地址错误。 例如：http://www.neihan8.com/wenzi/index_1.html 这个网址打开的是404网页错误。 但是 http://www.neihan ...
分类：
编程语言 时间：
2016-06-18 18:27:12
阅读次数：
120
恢复内容开始 #小白一个，在此写下自己的python爬虫初步的知识.如有错误，希望谅解并指出。 #欢迎和大家交流python爬虫相关的问题 #2016/6/18 # 第一把武器 urllib.request urllib.request是python3自带的库（python3.x版本特有），我们用它 ...
分类：
编程语言 时间：
2016-06-18 16:58:55
阅读次数：
195
爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。 1、基本抓取网页 get方法 post方法 2、使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到代理IP； 在urllib2包中有ProxyHandler类，通过此类可以设置代理访问网页，如下代码片段： 3 ...
分类：
编程语言 时间：
2016-06-17 19:26:36
阅读次数：
199
上一节说到tag, 这里接着讲, tag有个属性叫做string, tag.string其实就是我们要掌握的四个对象中的第二个 NavigableString, 它代表的是该tag内的text(甚至包括空白字符, 该tag内如果有别的tag, 必须前后紧挨不带空格, 否则返回None, 这一点的原因 ...
分类：
编程语言 时间：
2016-06-16 14:33:30
阅读次数：
221
自从10号又是5天没更, 是, 我再一次断更... 原因是朋友在搞python, 老问我问题, 我python也是很久没碰了, 于是为了解决他的问题, 我只能重新开始研究python, 为了快速找回感觉, 我先是看了<简明python教程>, 出于兴趣考虑又开始看一本叫做<Web Scraping ...
分类：
编程语言 时间：
2016-06-16 01:29:30
阅读次数：
159
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。 一、urllib简介 python3中的urllib模块相对于Python2做了很大的改变，原来的urllib、urllib2、urlparse和robo ...
分类：
编程语言 时间：
2016-06-16 01:29:16
阅读次数：
581
从在知乎关注了几个大神，我发现我知乎的主页画风突变。经常会出现 诸如此类的问答。点进去之后发现果然很不错啊，大神果然是大神，关注的焦点就是不一样。 看多了几次之后，觉得太麻烦了。作为一个基佬，不，直男，其实并不关注中间的过程(文字)。其实就是喜欢看图片而已，得想个法子方便快捷地浏览，不，是欣赏这些图 ...
分类：
编程语言 时间：
2016-06-14 23:36:38
阅读次数：
790
在网上看到的教程，但是我嫌弃那个教程写的乱（虽然最后显示我也没高明多少，哈哈），就随手写了一个 主要是嫌弃盘搜那些恶心的广告，这样直接下载下来，眼睛清爽多了。 用pyinstall 打包成EXE文件，就可以安安静静的下载东西了。。。。 #refer:http://upvup.com/html/pyt ...
分类：
编程语言 时间：
2016-06-14 19:13:41
阅读次数：
418
