码迷,mamicode.com
首页 > Web开发 > 详细

百度搜索结果HTML分析

时间:2018-03-15 23:00:09      阅读:337      评论:0      收藏:0      [点我收藏+]

标签:mac os   pow   指定   最小   问题   free   设计   lease   capture   

目的:

为了从搜索结果中提取所有网页,以备后续处理。

 

访问百度链接分析

名称 说明
wd 任意文字 关键字
rn 可以不指定,默认为10,最大为50,最小为1,可设置为任意值 一页包含的结果条目数
pn 百度默认显示760条,所以最后一页为pn=750 第一条结果的索引位置

示例:

https://www.baidu.com/s?wd=老虎&pn=10&rn=3

关键字:老虎,第10条记录,每页显示3条。所以打开的是以老虎为关键字,第四页的记录

 

HTML源文件分析

刚下载的html源文件格式非常混乱,可使用在线html格式化工具进行格式化,以便阅读。

根据我的需求,在HTML文件中,<script>元素与<style>元素可以直接跳过。找到搜索结果所在的位置即可。

技术分享图片

 

技术分享图片

 

 

提取搜索结果(QT实现)

在Qt中,使用QDomDocument 或 QXmlStreamReader 来解析 html 文件都失败了。经分析,其原因是:QDomDocument 或 QXmlStreamReader都是针对解析XML文件设计的。HTML与XML的区别

经过查找资料,TidyLib 库正好可以解决问题。

Tidy is a console application for Mac OS X, Linux, Windows, UNIX, and more. It corrects and cleans up HTML and XML documents by fixing markup errors and upgrading legacy code to modern standards.

libtidy is a C static and dynamic library that developers can integrate into their applications in order to bring all of Tidy’s power to your favorite tools. libtidy is used today in desktop applications, web servers, and more.

 

TidyLib使用代码如下:

bool HtmlParse::setDatas(const QByteArray &datas)
{
    bool result = false;
    TidyBuffer output = {0};
    TidyBuffer errbuf = {0};
    int rc = -1;
    Bool ok;

    TidyDoc tdoc = tidyCreate();                        // Initialize "document"

    ok = tidyOptSetBool( tdoc, TidyXhtmlOut, yes );     // Convert to XHTML
    if ( ok )
         rc = tidySetErrorBuffer( tdoc, &errbuf );      // Capture diagnostics
    if ( rc >= 0 )
         rc = tidyParseString( tdoc, datas.data() );    // Parse the input
    if ( rc >= 0 )
         rc = tidyCleanAndRepair( tdoc );               // Tidy it up!
    if ( rc >= 0 )
         rc = tidyRunDiagnostics( tdoc );               // Kvetch
    if ( rc > 1 )                                       // If error, force output.
         rc = ( tidyOptSetBool(tdoc, TidyForceOutput, yes) ? rc : -1 );
    if ( rc >= 0 )
         rc = tidySaveBuffer(tdoc, &output);            // Pretty Print

    if ( rc >= 0 )
    {
        if (doc.setContent(QByteArray((char *)output.bp)))  // QDomDocument doc; 
        {
            result = true;
        }
    }

    tidyBufFree( &output );
    tidyBufFree( &errbuf );
    tidyRelease( tdoc );

    return result;
}

百度搜索结果HTML分析

标签:mac os   pow   指定   最小   问题   free   设计   lease   capture   

原文地址:https://www.cnblogs.com/yang--/p/8576778.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!