码迷,mamicode.com
首页 > 编程语言 > 详细

python网络数据采集之xpath

时间:2016-11-16 14:49:26      阅读:251      评论:0      收藏:0      [点我收藏+]

标签:.com   否则   span   数据采集   images   chrome   path   pytho   技术   

本文主要讲解如何在scrapy中使用xpath获取各种你想要的值

使用豆瓣作为例子

https://book.douban.com/tag/%E6%BC%AB%E7%94%BB?start=20&type=T

此处可以配合chrome浏览器的插件 xpath helper配合验证你的xpath是否正确,

技术分享

这里我想要获取a标签下的href和a标签中的title ,  使用图中红色框内的 extract_first() , 注意这里xpath的语法,前面要加上".",否则会从文档根节点而不是当前节点为起点开始查询

 

如果想要获取标签内的文本值则使用  /text()即可

 

技术分享

 

python网络数据采集之xpath

标签:.com   否则   span   数据采集   images   chrome   path   pytho   技术   

原文地址:http://www.cnblogs.com/jinjidedale/p/6068882.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!