+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2020-03(56)

2020-04(60)

2020-05(24)

2020-06(39)

2020-07(23)

基于selenium的简单爬虫——爬取问答库试题

发布于2020-07-20 10:06     阅读(862)     评论(0)     点赞(18)     收藏(4)


0

1

2

3

4

由于毕业设计的需要,本人最近在学习爬取一些简单的试题库,写篇Blog记录一下。就以问答库(https://www.asklib.com/)为例。

可以看到,问答库中查看答案是需要付费VIP的,这个没办法,我开通了一个5元7天的会员,用来测试。(此处不提供账号密码)

先附上完整代码 

 1 import json
 2 from bs4 import BeautifulSoup
 3 from time import sleep
 4 from selenium import webdriver
 5 from selenium.webdriver.common.by import By  # 引用网页选择器
 6 from selenium.webdriver.support.ui import WebDriverWait  # 引用设定显示等待时间
 7 from selenium.webdriver.support import expected_conditions as EC  # 引用等待条件
 8 import time
 9 
10 
11 def init():
12     # 定义为全局变量,方便其他模块使用
13     global url, browser, username, password, wait
14     # 登录界面的url
15     url = 'https://www.asklib.com/?from=logout'
16     # 实例化一个chrome浏览器
17     browser = webdriver.Chrome("C:/Program Files (x86)/Google/Chrome/Application/chromedriver.exe")
18     # 用户名
19     username = ""
20     # 密码
21     password = ""
22     # 设置等待超时
23     wait = WebDriverWait(browser, 20)
24 
25 
26 def login():
27     # 打开登录页面
28     browser.get("https://www.asklib.com/?from=logout")
29     button = wait.until(
30         EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div/ul[1]/li[1]/a')))  # 等待目标可以点击
31     button.click()
32     time.sleep(1)
33     browser.switch_to.frame(browser.find_element_by_xpath("//iframe[contains(@id,'layui-layer-iframe1')]"))
34     input_psw = browser.find_element_by_xpath('//div[@class="box-item content-box"]/input')#获得密码输入
35     input_user = browser.find_element_by_xpath('//div[@class="box-item"]/input')#获得账号输入
36     input_user.send_keys("xxxxxxxxx")  # 发送登录账号
37     time.sleep(1)
38     input_psw.send_keys("xxxxxxxxx")#发送登录密码
39     time.sleep(1)  # 等待 一秒 防止被识别为机器人
40     login1 = wait.until(EC.element_to_be_clickable((By.XPATH, '/html/body/section/div[1]/input')))
41     login1.click()
42     browser.switch_to.default_content()
43 
44 
45 def get_item_info(url):
46     browser.get(url)
47     soup = BeautifulSoup(browser.page_source.encode('utf-8'), 'lxml')
48     question_list = soup.select(
49         'body > div.content.clear > div:nth-child(2) > div.listleft > div:nth-child(1) > div.essaytitle.txt_l ')
50     question = question_list[0].text
51     answer_list = soup.select('body > div.content.clear > div:nth-child(2) > div.listleft > div.listbg > div')
52     answer = answer_list[0].text
53     jiexi_list = soup.select('#commentDiv > div ')
54     jiexi = jiexi_list[0].text
55 
56     data = {
57         'question': question,
58         'answer': answer,
59         'jiexi': jiexi
60     }
61 
62     with open('data.json', 'a', encoding='utf-8') as f:
63         json.dump(data, f, ensure_ascii=False, indent=2)
64 
65 
66 def get_all_link():
67     for page in range(1,100):
68         if page == 100:
69             break
70         if page == 1:
71             browser.get('https://www.asklib.com/s/%E6%96%87%E5%AD%A6/p1')
72             sleep(5)
73         else:
74             browser.get('https://www.asklib.com/s/%E6%96%87%E5%AD%A6/p'+str(page))
75         soup = BeautifulSoup(browser.page_source.encode('utf-8'), 'lxml')
76         hrefs_list = soup.select(
77             'body > div.content.clear > div:nth-child(2) > div.listleft > div > div.b-tQ.clear > div > a')
78         for href in hrefs_list:
79             link = href.get('href')
80             url1 = 'https://www.asklib.com/'+link
81             get_item_info(url1)
82 
83 
84 def main():
85     # 初始化
86     init()
87     # 登录
88     login()
89     sleep(6)
90     get_all_link()
91 
92 
93 if __name__ == '__main__':
94     main()
问答库爬虫

 

前期准备:你需要一些网页基础(简单的HTML,CSS,JS可以到W3C学习 https://www.w3school.com.cn/html/index.asp

掌握一定的python基础(这里推荐一下廖老师的教程 https://www.liaoxuefeng.com/wiki/1016959663602400

然后我们就可以开始快乐地编程了。

1. 爬取一个网页,你需要先到页面上看看自己需要爬取哪些信息,对于我的需求的话,我只需要题目,答案以及解析即可。打开开发人员工具,我是用的是微软的edge,快捷键F12,常见的浏览器都差不多。右击检查,或者在右侧区域选中你需要爬取的信息。复制选择器(selector)

2. 在pycharm中新建python文件,导入第三方库

1 import json
2 import requests
3 from bs4 import BeautifulSoup
4 from time import sleep
5 from selenium import webdriver
6 from selenium.webdriver.common.by import By  # 引用网页选择器
7 from selenium.webdriver.support.ui import WebDriverWait  # 引用设定显示等待时间
8 from selenium.webdriver.support import expected_conditions as EC  # 引用等待条件
9 import time

3. 尝试用BeautifulSoup爬取页面源代码,爬取成功。

1 def get_item_info():
2     url = 'https://www.asklib.com/view/16f478fa.html'
3     wb_data = requests.get(url)
4     soup = BeautifulSoup(wb_data.text, 'lxml')
5     print(soup)

 

 4. 利用选择器(selector)爬取我们想要的信息。稍微修改上面的代码即可。这里以题目为例其他的信息爬取也一样。

1 def get_item_info():
2     url = 'https://www.asklib.com/view/16f478fa.html'
3     wb_data = requests.get(url)
4     soup = BeautifulSoup(wb_data.text, 'lxml')
5     question_list = soup.select('body > div.content.clear > div:nth-child(2) > div.listleft > div:nth-child(1) > div.essaytitle.txt_l')
6     question = question_list[0].text
7     print(question)

 

 5. 将信息结构化成字典

 1 def get_item_info():
 2     url = 'https://www.asklib.com/view/16f478fa.html'
 3     wb_data = requests.get(url)
 4     soup = BeautifulSoup(wb_data.text, 'lxml')
 5     question_list = soup.select('body > div.content.clear > div:nth-child(2) > div.listleft > div:nth-child(1) > div.essaytitle.txt_l')
 6     question = question_list[0].text
 7     question_list = soup.select(
 8         'body > div.content.clear > div:nth-child(2) > div.listleft > div:nth-child(1) > div.essaytitle.txt_l ')
 9     question = question_list[0].text
10     answer_list = soup.select('body > div.content.clear > div:nth-child(2) > div.listleft > div.listbg > div')
11     answer = answer_list[0].text
12     jiexi_list = soup.select('#commentDiv > div ')
13     jiexi = jiexi_list[0].text
14     data = {
15         'question': question,
16         'answer': answer,
17         'jiexi': jiexi
18     }
19     print(data)

6. 模拟浏览器登录,此处需要ChromeDriver,安装请自行百度。

 1 def init():
 2     # 定义为全局变量,方便其他模块使用
 3     global url, browser, username, password, wait
 4     # 登录界面的url
 5     url = 'https://www.asklib.com/?from=logout'
 6     # 实例化一个chrome浏览器
 7     browser = webdriver.Chrome("C:/Program Files (x86)/Google/Chrome/Application/chromedriver.exe")
 8     # 用户名
 9     username = ""
10     # 密码
11     password = ""
12     # 设置等待超时
13     wait = WebDriverWait(browser, 20)

此处不提供账号密码,如有需要,自行购买。

 1 def login():
 2     # 打开登录页面
 3     browser.get("https://www.asklib.com/?from=logout")
 4     button = wait.until(
 5         EC.element_to_be_clickable((By.XPATH, '/html/body/div[2]/div/ul[1]/li[1]/a')))  # 等待目标可以点击
 6     button.click()
 7     time.sleep(1)
 8     browser.switch_to.frame(browser.find_element_by_xpath("//iframe[contains(@id,'layui-layer-iframe1')]"))
 9     input_psw = browser.find_element_by_xpath('//div[@class="box-item content-box"]/input')
10     input_user = browser.find_element_by_xpath('//div[@class="box-item"]/input')
11     input_user.send_keys("XXXXXXXXXXXX")  # 发送登录账号
12     time.sleep(1)
13     input_psw.send_keys("XXXXXXXXXXX")#发送登录密码
14     time.sleep(1)  # 等待 一秒 防止被识别为机器人
15     login1 = wait.until(EC.element_to_be_clickable((By.XPATH, '/html/body/section/div[1]/input')))
16     login1.click()
17     browser.switch_to.default_content()

7. 实现了登录功能后,我们发现,所以的问题链接都是在<a href>标签中,每页有10个问题,通过网页链接可以查看到规律。

 1 def get_all_link():
 2     for page in range(1,100):
 3         if page == 100:
 4             break
 5         if page == 1:
 6             browser.get('https://www.asklib.com/s/%E6%96%87%E5%AD%A6/p1')
 7             sleep(5)
 8         else:
 9             browser.get('https://www.asklib.com/s/%E6%96%87%E5%AD%A6/p'+str(page))
10         soup = BeautifulSoup(browser.page_source.encode('utf-8'), 'lxml')
11         hrefs_list = soup.select(
12             'body > div.content.clear > div:nth-child(2) > div.listleft > div > div.b-tQ.clear > div > a')
13         for href in hrefs_list:
14             link = href.get('href')
15             url1 = 'https://www.asklib.com/'+link
16             get_item_info(url1)

8. 将以上代码整合,具体代码开头已经给出,在此声明,此方法不是最好的方法,但是selenium是真的nb,欢迎交流学习。

 

 

 

原文链接:https://www.cnblogs.com/lychan/p/13287242.html

0

1

2

3

4

5

6

7

8



所属网站分类: 技术文章 > 博客

作者:9384vfnv

链接: https://www.pythonheidong.com/blog/article/450519/6f4f6b60a8246a3ba816/

来源: python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

18 0
收藏该文
已收藏

评论内容:(最多支持255个字符)