+关注
已关注

分类  

数据分析(43)

爬虫(100)

日期归档  

2020-05(5)

2020-06(2)

2020-07(12)

2020-08(2)

2020-09(46)

Python爬虫练习:爬取软科世界大学学术排名

发布于2020-10-30 14:04     阅读(41)     评论(0)     点赞(0)     收藏(0)


0

1

2

3

4

5

6

7

8

9

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

以下文章来源于云边镇 ,作者花花


前言

软科世界大学学术排名(ShanghaiRanking’s Academic Ranking of World Universities,简称ARWU)于2003年由上海交通大学世界一流大学研究中心首次发布,是世界范围内首个综合性的全球大学排名。2009年开始由软科发布并保留所有权利。软科世界大学学术排名是全球最具影响力和权威性的大学排名之一,在世界各地被广泛报导和大量引用,许多国家的政府和大学以ARWU为标准,制定战略目标和发展规划,采取各种举措来提升大学的国际竞争力。软科世界大学学术排名以评价方法的客观、透明和稳定著称,全部采用国际可比的客观指标和第三方数据,包括获诺贝尔奖和菲尔兹奖的校友和教师数、高被引科学家数、在《Nature》和《Science》上发表的论文数、被SCIE和SSCI收录的论文数、师均学术表现等(查看排名方法)。软科世界大学学术排名每年排名的全球大学超过2000所,发布最为领先的前1000所大学。

Python爬虫练习:爬取软科世界大学学术排名


Python爬虫练习:爬取软科世界大学学术排名


查看网页源代码


Python爬虫练习:爬取软科世界大学学术排名



查看文本文件中的HTML信息


Python爬虫练习:爬取软科世界大学学术排名



开发环境

  • Python 3.8
  • Spyder

爬取数据

#爬取软科世界大学学术排名
import requests
from bs4 import BeautifulSoup
if __name__ == "__main__":    
    destinationPath = "html信息.txt"
    allUniv = []
    # headers={'User-Agent':'Mozilla/5.0'}
    url= 'https://www.shanghairanking.cn/rankings/arwu/2020'

    try:
        r = requests.get(url=url, timeout=30)
        r.raise_for_status()
        r.encoding = 'utf-8'
        html = r.text
    except:
        html = ""
    # fd = open(destinationPath,"w+") # 注意这里会报错:UnicodeEncodeError: 'gbk' codec can't encode character '\xa9' in position 0: illegal multibyte sequence
    fd = open(destinationPath,"w+",encoding='utf-8')
    fd.writelines(html)
    fd.close()
    # print(html) # 注意在vscode下这里打印不全,故将结果保存在文件中   

    soup = BeautifulSoup(html, "html.parser")
    # fillUnivList(soup)
    # printUnivList(10)
    print("{0:{5}<10}{1:{5}^10}{2:{5}^12}{3:{5}^10}{4:{5}^10}".format("排名","学校名称","国家","排名","总分",(chr(12288))))
    data = soup.find_all('tr')
    for tr in data: # 每一行,对应每一个学校
        ltd = tr.find_all('td')
        if len(ltd)==0:
            continue

  
        singleUniv = []
        # UniName = tr.find('a')

        # singleUniv = [UniName.string]
        for td in ltd:
            if td.find("a"):
                UniName = td.find("a").string
                singleUniv.append(UniName)
            elif td.string.strip():
                singleUniv.append(td.string.strip())
        allUniv.append(singleUniv)
        # print(singleUniv)

    # num = len(allUniv)
    num = 30
    for i in range(num):
        u=allUniv[i]
        print("{0:<10}{1:{5}^20}{2:{5}<10}{3:{5}^4}{4:^33}".format(u[0],u[1],u[2],u[3],u[4],(chr(12288))))#排版原因,实为一行
    print("{0:{5}<10}{1:{5}^10}{2:{5}^12}{3:{5}^10}{4:{5}^10}".format("排名","学校名称","国家","排名","总分",(chr(12288))))

爬取结果


Python爬虫练习:爬取软科世界大学学术排名

0

1

2

3

4

5

6

7

8

9



所属网站分类: 技术文章 > 博客

作者:松鼠爱吃饼干

链接: https://www.pythonheidong.com/blog/article/609604/c9a7017736d9f165869e/

来源: python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

0 0
收藏该文
已收藏

评论内容:(最多支持255个字符)