码迷,mamicode.com
首页 > 其他好文 > 详细

【Pyhton爬虫】中国大学排名爬虫

时间:2020-07-09 10:43:51      阅读:61      评论:0      收藏:0      [点我收藏+]

标签:plt   col   pen   cep   ppa   学校   名称   编码   element   

http://www.zuihaodaxue.com/zuihaodaxuepaiming-zongbang-2020.html

技术图片

 

 

 技术图片

 

 

 技术图片

 

 

 技术图片

 

 

 技术图片

 

 

 技术图片

 

 

 技术图片

 

 

 代码:

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLtext(url):#获取URL信息
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()#异常判断
        r.encoding=r.apparent_encoding#转换编码
        return r.text
    except:
        return""

def fillUnivList(ulist,html):#将HTML信息放在列表中
    soup=BeautifulSoup(html,"html.parser")
    for tr in soup.find(tbody).children:
        if isinstance(tr,bs4.element.Tag):#判断类型
            tds=tr(td)
            ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string,tds[4].string])#大学排名、大学名称、大学。。

def printUnivList(ulist,num):#打印出来
    print("{:^10}\t{:^6}\t{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","省市","学校类型","总分"))
    for i in range(num):
        u=ulist[i]
        print("{:^10}\t{:^6}\t{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2],u[3],u[4]))   


def main():
    uinfo=[]
    url="http://www.zuihaodaxue.com/zuihaodaxuepaiming-zongbang-2020.html"
    html=getHTMLtext(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,20)#列举20所学校
main()

效果

技术图片

 

 

 我们发现会有对不齐的现象

优化

技术图片

 

 

 技术图片

代码:

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLtext(url):#获取URL信息
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()#异常判断
        r.encoding=r.apparent_encoding#转换编码
        return r.text
    except:
        return""

def fillUnivList(ulist,html):#将HTML信息放在列表中
    soup=BeautifulSoup(html,"html.parser")
    for tr in soup.find(tbody).children:
        if isinstance(tr,bs4.element.Tag):#判断类型
            tds=tr(td)
            ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string,tds[4].string])#大学排名、大学名称、大学。。

def printUnivList(ulist,num):#打印出来
    tplt="{0:^10}\t{1:{5}^10}\t{2:^6}\t{3:^6}\t{4:^6}"
    print(tplt.format("排名","学校名称","省市","学校类型","总分",chr(12288)))
    for i in range(num):
        u=ulist[i]
        print(tplt.format(u[0],u[1],u[2],u[3],u[4],chr(12288)))   


def main():
    uinfo=[]
    url="http://www.zuihaodaxue.com/zuihaodaxuepaiming-zongbang-2020.html"
    html=getHTMLtext(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,20)#列举20所学校
main()

效果

技术图片

 

 

 是不是美观了不少?

【Pyhton爬虫】中国大学排名爬虫

标签:plt   col   pen   cep   ppa   学校   名称   编码   element   

原文地址:https://www.cnblogs.com/HGNET/p/13272099.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!