码迷,mamicode.com
首页 > 其他好文 > 详细

(参考)爬虫5-爬取中国大学排名情况

时间:2018-03-29 22:43:53      阅读:398      评论:0      收藏:0      [点我收藏+]

标签:问题:   长度   oda   stat   代码优化   优化   request   enc   bubuko   

最好大学网

2018大学排名

功能描述:

输入:大学排名url链接

输出:大学排名信息的屏幕输出(排名,大学名称,总分)

技术路线:requests库和bs4库

定向爬虫:仅对输入的URL进行爬取,不扩展爬取

 

步骤:

1、输入url网址,查看源代码,发现信息都在HTML文件中

2、打开http://www.zuihaodaxue.cn/robots.txt,发现:not found,说明没有对爬取进行robots协议限制,可以进行爬取

3、程序的结构设计:

  步骤1,从网络上获取大学排名网页内容,getHTMLText()

  步骤2、提取网页内容中信息到合适的数据结构,fillUnivList()

  步骤3、利用数据结构展示并输出结果,printUnivList()

 代码:

import requests
from bs4 import BeautifulSoup
import bs4#为了使用bs4的标签函数
#获取页面信息
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ‘‘
#将数据存到list中
def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,html.parser)
    #查看HTML源码发现每一所大学都在tbody标签中,这里一个tr表示一所大学
    for tr in soup.find(tbody).children:
        if isinstance(tr,bs4.element.Tag):#判断是否为标签类型,过滤掉字符串
            tds=tr(td)
            ulist.append([tds[0].string,tds[1].string,tds[2].string])
    #pass 
#将num个list中的数据打印显示出来,可视化输出
def printUnivList(ulist,num):
    #打印表头
    print({:^10}\t{:^6}\t{:^10}.format(排名,学校名称,总分))
    for i in range(num):
        u=ulist[i]
        print({:^10}\t{:^6}\t{:^10}.format(u[0],u[1],u[2]))
    #print(‘Suc‘+str(num))
#主函数
def main():
    uinfo=[]#待放入数据的列表
    url=http://www.zuihaodaxue.cn/zuihaodaxuepaiming2018.html
    html=getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,20)#打印20组数据
main()

结果展示:

技术分享图片

以上程序有一个问题,就是总分一栏输出的竟然是省份,这其实是这一行代码的问题:

ulist.append([tds[0].string,tds[1].string,tds[2].string])
#这里应该改为
#ulist.append([tds[0].string,tds[1].string,tds[3].string])

更改后就没有问题了。

 

在这里我们的设计思路是:

先搭建程序的框架,先定义三个函数名,然后定义主函数,主函数会依次调用三个函数,然后再分别充实三个子函数,一步步的写,这是写程序的正确方法。

当遇到bug时,我们可以逐步排查,比如先运行第一个程序,看看是否已经获得html文件,再逐步检查。

 

代码优化:

  format属性

  中文对齐的问题:

<填充> <对齐> <宽度> , <精度> <类型>

引号

符号

用于填充

的单个字符

<左对齐

>右对齐

^居中对齐

槽的设定

输出宽度

数字的千位

分隔符适用

于整数和浮点数

浮点数小数部分

的精度或字符串

的最大输出长度

整数类型b,c,d,

o,x,X浮点数类型

e,E,f,%

 

 

 

 

 

 

当中文字符宽度不够时,采用西文字符填充;中西文字符占用宽度不同。

解决方法:采用中文空格填充chr(12288)

将print**函数做修改

def printUnivList(ulist,num):
    #打印表头
    tplt={0:^10}\t{1:{3}^10}\t{2:^10}#定义模板
    print(tplt.format(排名,学校名称,总分,chr(12288)))
    for i in range(num):
        u=ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288)))

输出结果如下:发现输出已经居中

技术分享图片

 

(参考)爬虫5-爬取中国大学排名情况

标签:问题:   长度   oda   stat   代码优化   优化   request   enc   bubuko   

原文地址:https://www.cnblogs.com/rayshaw/p/8605851.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!