码迷,mamicode.com
首页 > 其他好文 > 详细

数据解析_xpath

时间:2020-06-25 23:43:50      阅读:66      评论:0      收藏:0      [点我收藏+]

标签:nbsp   源码   class   details   tree   size   encoding   ack   解决办法   

重点推荐这种解析方式,xpath是最常用且最便捷高效的一种解析方式,通用性

1、解析原理

      1、实例化一个etree的对象,且需要将被解析的页面源码数据加载到改对象中。

      2、调用etree对象中的xpath方法结合表达式实现标签的定位和内容的捕获

2、环境的安装

      1、pip install lxml  (lxml是一种解析器)

3、如何实例化一个etree对象    from lxml import etree

     1、将本地的html文档中的源码数据加载到etree对象中

            etree.parse(filePath)

     2、可以将从互联网上获取的源码数据加载到该对象中

            etree.HTML(‘page_text‘)

4、xpath(‘xpath表达式‘)

  -- /:表示的是从根节点开始定位,表示的是一个层级

       -- //:表示的是多个层级,可以表示从任意位置开始定位

       -- 属性定位://div[@class=‘sort‘]     tag[@attrName=‘attrValue‘]

  --索引定位://div[@class=‘sort‘]/p[3]  索引从1开始的

       -- 取文本        /text()  获取的是标签中直系的文本内容

        //text()  获取的是所有后代的文本内容

       -- 取属性    /@attrName   /src

    一个错误:

lxml.etree.XMLSyntaxError: Opening and ending tag mismatch: meta line 3 and head, line 3, column 87

解决办法:
自己创建html解析器,增加parser参数

from lxml import etree
parser = etree.HTMLParser(encoding="utf-8")
htmlelement = etree.parse("baidu.html", parser=parser)
print(etree.tostring(htmlelement, encoding="utf-8").decode("utf-8"))
原文链接:https://blog.csdn.net/Kwoky/java/article/details/81099697
import  requests
from lxml import etree
if __name__ == __main__:
    parser = etree.HTMLParser(encoding="utf-8")
    #实例化好了一个etree对象,且将被解析的源码加载到该对象中
    tree = etree.parse(test2.html,parser=parser)
    #r = tree.xpath(‘/html/head/title‘) #[<Element title at 0x27230787248>]
    #r = tree.xpath(‘/html//title‘) #[<Element title at 0x222b0a57408>]
    #r= tree.xpath(‘//li[@class="sort"]‘) #[<Element title at 0x25dd0f77048>]
    #r = tree.xpath(‘//li[@class="sort"]/p[2]‘)  # [<Element title at 0x25dd0f77048>]
    r = tree.xpath(//li[@class="sort"]//a/text())
    print(r)  #[<Element li at 0x135d9b37448>]

数据解析_xpath

标签:nbsp   源码   class   details   tree   size   encoding   ack   解决办法   

原文地址:https://www.cnblogs.com/sunflying/p/13193315.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!