python转码译码python的编码问题研究------使用scrapy体验基于python2scrapy是一款非常轻量级的爬虫框架，但是由于它隐藏了太多关于网络请求的细节，所以我们有时候会遭遇到一下很尴尬的bug，当然这主要是因为碰到一些不规范的网站。python的编码转码网上有很多文章，如果你...
分类：
编程语言 时间：
2015-11-22 15:50:28
阅读次数：
126
其实我只是想试试爬取图片而已,先看看网页，需要爬的地方有两个，一是封面图，二是下载地址，挺简单的Item定义：importscrapy
classTiantianmeijuItem(scrapy.Item):
name=scrapy.Field()
p_w_picpath_urls=scrapy.Field()
p_w_picpaths=scrapy.Field()
p_w_picpath_paths=sc..
分类：
其他好文 时间：
2015-11-17 19:13:53
阅读次数：
330
转载主注明出处：http://www.cnblogs.com/codefish/p/4968260.html 在爬虫中，我们遇到比较多需求就是文件下载以及图片下载，在其它的语言或者框架中，我们可能在经过数据筛选，然后异步的使用文件下载类来达到目的，Scrapy框架中本身已经实现了文件及图片下载的文....
分类：
其他好文 时间：
2015-11-16 12:12:19
阅读次数：
147
创建项目一般来说，使用scrapy工具的第一件事就是创建您的Scrapy项目:scrapy startproject myproject该命令将会在myproject目录中创建一个Scrapy项目。接下来，进入到项目目录中:cd myproject这时候您就可以使用scrapy命令来管理和控制您的项...
分类：
其他好文 时间：
2015-11-15 20:45:12
阅读次数：
263
常用网址：Python 3.5:https://www.python.org/downloads/Wheel文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml参考文章：https://www.webucator.com/blog/2015/03/ho...
分类：
编程语言 时间：
2015-11-15 16:16:38
阅读次数：
274
创建Scrapy工程：scrapystartprojectweather2定义Items（items.py）：importscrapy
classWeather2Item(scrapy.Item):
#definethefieldsforyouritemherelike:
#name=scrapy.Field()
weatherDate=scrapy.Field()
weatherDate2=scrapy.Field()
weatherWea=scrapy.Field()
weather..
分类：
数据库 时间：
2015-11-11 22:28:58
阅读次数：
609
今天在安装scrapy时候，最后一步出现下面报错（操作系统为centerOS 6.4）error: Setup script exited with error: command 'gcc' failed with exit status 1原因是由于系统中缺少几个模块，执行下列命令，问题解决：yu...
分类：
其他好文 时间：
2015-11-05 20:18:03
阅读次数：
146
-.-编辑中.我语文是数学老师教的... 后续补充参考代码,链接. 很多网站都使用javascript...网页内容由js动态生成,一些js事件触发的页面内容变化,链接打开.甚至有些网站在没有js的情况下根本不工作,取而代之返回你...
分类：
编程语言 时间：
2015-11-05 17:00:57
阅读次数：
221
>>>?response.xpath(‘//base/@href‘).extract() >>>?response.css(‘base::attr(href)‘).extract() >>>?response.xpath(‘//a[contains(@href,?"image")]/@href‘).extract() >>>?response.css(‘a[href*=image...
分类：
其他好文 时间：
2015-11-03 23:12:25
阅读次数：
353
有些人问，开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？这里按照我的经验随便扯淡一下： 上面说的爬虫，基本可以分3类： ????? 1.分布式爬虫：Nutch ????? 2.JA...
分类：
其他好文 时间：
2015-11-03 21:23:22
阅读次数：
299
