本站消息

站长简介/公众号


站长简介:高级工程师,爱好交友,无偿辅导python和前端,技术交流,面试指导,找工作指导,瞎聊都可加我微信i88811i哈,欢迎欢迎!也欢迎加入程序员交流群,专属程序员的圈子,加我微信拉你进群.欢迎关注我的微信公众号:程序员总部,程序员的家,探索程序员的人生之路!分享IT最新技术,关注行业最新动向,让你永不落伍。了解同行们的工资,生活工作中的酸甜苦辣,谋求程序员的最终出路!

  价值13000svip视频教程,python大神匠心打造,零基础python开发工程师视频教程全套,基础+进阶+项目实战,包含课件和源码

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2021-05(2)

2021-06(9)

使用BeautifulSoup和正则表达式爬取时光网不同地区top100电影并使用Matplotlib对比

发布于2019-08-08 16:05     阅读(441)     评论(0)     点赞(5)     收藏(4)



还有一年多就要毕业了,不准备考研的我要着手准备找实习及工作了,所以一直没有更新。

因为Python是自学不久,发现很久不用的话以前学过的很多方法就忘了,今天打算使用简单的BeautifulSoup和一点正则表达式的方法来爬一下top100电影,当然,我们并不仅是使用爬虫爬取数据,这样的话,数据中存在很多的对人有用的信息则被忽略了。所以,爬取数据只是开头,对这些数据根据意愿进行分析,或许能有额外的收获。

注:本人还是Python菜鸟,若有错误欢迎指正

  转载请标明出处


本次我们爬取时光网(http://www.mtime.com/top/movie/top100/)上的电影排名,该网站网页结构较简单,爬取方便。
步骤:1.爬取时光网top100电影,华语top100电影,日本top100电影,韩国top100电影的排名情况电影名字电影简介评分评价人数
 
   2. 将爬取数据保存为csv格式后,取出并使用matplotlib绘图库分析对比评论人数一项
 
   3.将结果图像保存

步骤一:爬取
分析时光网网页元素

由上图可知电影信息在 li 节点内,而且发现第一页与后面网页地址不同,需要进行判断。

第一页地址为:http://www.mtime.com/top/movie/top100/

第二页地址为:http://www.mtime.com/top/movie/top100/index-2.html

第三页及后面地址均与第二页相似,仅网址的数字相应增加,所以更改数字即可爬取

复制代码
 1 import requests
 2 from bs4 import BeautifulSoup
 3 import re
 4 import csv
 5 
 6 #定义爬取函数
 7 def get_infos(htmls, csvname):
 8     #信息头
 9     headers = {
10         'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
11     }
12     #flag在写入文件时判断是否为首行
13     flag = True
14     #判断第一页网址,第二页及其后的网址
15     for i in range(10):
16         if i == 0:
17             html = htmls
18         else:
19             html = htmls + 'index-{}.html'.format(str(i+1))
20         res = requests.get(html, headers=headers)
21         soup = BeautifulSoup(res.text, 'lxml')
22         alls = soup.select('#asyncRatingRegion > li') #选取网页的li节点的内容
23         #对节点内容进行循环遍历
24         for one in alls:
25             paiming = one.div.em.string     #排名
26             names = str(one.select('div.mov_pic > a'))  #电影名称并将列表字符串化
27             name = re.findall('.*?title="(.*?)">.*?', names, re.S)[0]   #使用正则表达式提取内容
28             content = str(one.select('div.mov_con > p.mt3'))    #评论
29             realcontent = re.findall('.*?mt3">(.*?)</p>', content, re.S)[0] #同上
30             p1 = one.find(name='span', attrs={'class': 'total'}, text=re.compile('\d'))     #评分在两个节点,
31             p2 = one.find(name='span', attrs={'class': 'total2'}, text=re.compile('.\d'))
32             #判断评分是否为空
33             if p1 and p2 != None:
34                 p1 = p1.string
35                 p2 = p2.string
36             else:
37                 p1 = 'no'
38                 p2 = ' point'
39             point = p1 + p2 + ''
40             numbers = one.find(text=re.compile('评分'))   #评分数量
41             # 保存为csv
42             csvnames = 'C:\\Users\lenovo\Desktop\\' + csvname + '.csv'
43             with open(csvnames, 'a+', encoding='utf-8') as f:
44                 writer = csv.writer(f)
45                 if flag:
46                     writer.writerow(('paiming', 'name', 'realcontent', 'point', 'numbers'))
47                 writer.writerow((paiming, name, realcontent, point, numbers))
48             flag = False
49 
50 #调用函数
51 Japan_html = 'http://www.mtime.com/top/movie/top100_japan/'
52 csvname1 = 'Japan_top'
53 get_infos(Japan_html, csvname1)
54 
55 Korea_html = 'http://www.mtime.com/top/movie/top100_south_korea/'
56 csvname2 = 'Korea_top'
57 get_infos(Korea_html, csvname2)
复制代码

 这里要注意的是要有些电影没有评分,为了预防出现这种情况,所以要进行判断

注:上述没有添加华语电影top100及所有电影top100的代码,可自行添加。

爬取结果部分内容如下:

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

步骤二和三:导入数据并使用matplotlib分析,保存分析图片

复制代码
 1 import csv
 2 from  matplotlib import pyplot as plt
 3 #中文乱码处理
 4 plt.rcParams['font.sans-serif'] =['Microsoft YaHei']
 5 plt.rcParams['axes.unicode_minus'] = False
 6 
 7 def read_csv(csvname):
 8     csvfile_name = 'C:\\Users\lenovo\Desktop\\' + csvname + '.csv'
 9     #打开文件并存入列表
10     with open(csvfile_name,encoding='utf-8') as f:
11         reader = csv.reader(f)
12         header_row = next(reader)
13         name = []
14         for row in reader:
15             name.append(row)
16     #取列表中非空元素
17     real = []
18     for i in name:
19         if len(i) != 0:
20             real.append(i)
21     #去除中文并将数据转换为整形
22     t = 0
23     ss = []
24     for j in real:
25         ss.append(int(real[t][4][:-5]))
26         t += 1
27     return ss
28 
29 #绘制对比图形
30 All_plt = read_csv('bs1')  #调用函数
31 China_plt = read_csv('China_top')
32 Japan_plt = read_csv('Japan_top')
33 Korea_plt = read_csv('Korea_top')
34 shu = list(range(1,101))
35 fig = plt.figure(dpi=128, figsize=(10, 6))    #设置图形界面
36 plt.subplot(2,1,1)
37 plt.bar(shu ,All_plt, align='center', color='green', label='World', alpha=0.6)   #绘制条图形,align指定横坐标在中心,颜色,alpha指定透明度
38 plt.bar(shu ,China_plt, color='indigo', label='China', alpha=0.4)   #绘制图形,颜色, label属性用于后面使用legend方法时显示图例标签
39 plt.bar(shu ,Japan_plt, color='blue', label='Japan',alpha=0.5)   #绘制图形,颜色,
40 plt.bar(shu ,Korea_plt, color='yellow', label='Korea',alpha=0.5)   #绘制图形,颜色,
41 plt.ylabel('评论数', fontsize=10)     #纵坐标题目,字体大小
42 plt.title('不同地区的电影top100对比', fontsize=10)  #图形标题
43 plt.legend(loc='best')
44 
45 plt.subplot(2,1,2)
46 plt.plot(shu , All_plt, linewidth=1, c='green', label='World')   #绘制图形,指定线宽,颜色,label属性用于后面使用legend方法时显示图例标签
47 plt.plot(shu ,China_plt, linewidth=1, c='indigo', label='China', ls='-.')   #绘制图形,指定线宽,颜色,
48 plt.plot(shu ,Japan_plt, linewidth=1, c='green', label='Japan', ls='--')   #绘制图形,指定线宽,颜色,
49 plt.plot(shu ,Korea_plt, linewidth=1, c='red', label='Korea', ls=':')   #绘制图形,指定线宽,颜色,
50 plt.ylabel('comments', fontsize=10)     #纵坐标题目,字体大小
51 plt.title('The different top 100 movies\'comments comparison', fontsize=10)  #图形标题
52 plt.legend(loc='best')
53 '''
54 plt.legend()——loc参数选择
55 'best' : 0,     #自动选择最好位置     
56  'upper right'  : 1,
57  'upper left'   : 2,
58  'lower left'   : 3,
59  'lower right'  : 4,
60  'right'        : 5,
61  'center left'  : 6,
62  'center right' : 7,
63  'lower center' : 8,
64  'upper center' : 9,
65  'center'       : 10,
66  '''
67 plt.savefig('C:\\Users\lenovo\Desktop\\bs1.png')   #保存图片
68 plt.show()  #显示图形
复制代码

 

这里需要注意的是读取保存的csv文件并将数据传入列表时,每一个电影数据又是一个列表(先称为有效列表),每个有效列表前后都有一个空列表,所以需要将空列表删除,才能进行下一步

评分数据为string类型且有中文,所以进行遍历将中文去除并转换为int

最后保存的对比分析图片:


本次使用的爬取方法、爬取内容、分析内容都很容易,但我在完成过程中,发现自己还是会出现各种各样的问题,说明还有很多需要改善进步的地方。

同时欢迎大家指正。

 

 

站长简介:高级工程师,爱好交友,无偿辅导python和前端,技术交流,面试指导,找工作指导,瞎聊都可加我微信i88811i哈,欢迎欢迎!也欢迎加入程序员交流群,专属程序员的圈子,加我微信拉你进群
欢迎关注我的公众号:程序员总部,关注公众号回复python,免费领取 全套python视频教程,关注公众号回复充值+你的账号,免费为您充值1000积分







所属网站分类: 技术文章 > 博客

作者:小鬼来了

链接:https://www.pythonheidong.com/blog/article/15160/d61ea3e9097175d86d7b/

来源:python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

5 0
收藏该文
已收藏

评论内容:(最多支持255个字符)