本站消息

站长简介/公众号


站长简介:逗比程序员,理工宅男,前每日优鲜python全栈开发工程师,利用周末时间开发出本站,欢迎关注我的微信公众号:程序员总部,程序员的家,探索程序员的人生之路!分享IT最新技术,关注行业最新动向,让你永不落伍。了解同行们的工资,生活工作中的酸甜苦辣,谋求程序员的最终出路!

  价值13000svip视频教程,python大神匠心打造,零基础python开发工程师视频教程全套,基础+进阶+项目实战,包含课件和源码

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2020-10(9)

2020-11(14)

selenium模块的基本使用

发布于2021-10-05 00:05     阅读(838)     评论(0)     点赞(23)     收藏(3)



selenium模块和爬虫的关联

1、便捷的获取网站中动态加载的数据。

2、便捷的实现模拟登录。


selenium模块:

1、基于浏览器自动化的一个模块。

2、模拟人去操作浏览器,通过xpath或者标签定位到元素,通过相应的方法就能在文本框内输入字符,或者定位到按钮点击。

3、不过selenium执行很慢,并且网页没加载完也可能执行下面的代码,会导致报错。

4、selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题,selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏览器。


selenium使用流程:

1、环境安装:pip install selenium

2、下载一个浏览器的驱动程序

  • 下载路径:http://chromedriver.storage.googleapis.com/index.html
  • 驱动程序和浏览器的映射关系:http://blog.csdn.net/huilan_same/article/details/51896672

3、实例化一个浏览器对象

4、编写基于浏览器自动化的操作代码

  • 发起请求:get(url)
  • 标签定位:find系列的方法
  • 标签交互:send_keys(‘xxx’)
  • 执行js程序:excute_script(‘jsCode’)
  • 前进、后退:back(), forward()
  • 关闭浏览器:quit()

5、selenium处理iframe

  • 如果定位的标签存在于iframe标签之中,则必须使用switch_to.frame(id)
  • 动作链(拖动):from selenium.webdriver import ActionChains
    • 实例化一个动作链对象:action = ActionChains(bro)
    • click_and_hold(div) :长按且点击操作
    • move_by_offset(x,y)
    • perform()让动作链立即执行
    • action.release()释放动作链对象

通过软件自动化打开浏览器,爬取数据

导包

from lxml import etree
from time import sleep
from selenium import webdriver

实例化一个浏览器对象(传入浏览器的驱动成)

bro = webdriver.Chrome(executable_path='./chromedriver.exe')

让浏览器发起一个指定url对应的请求

bro.get('http://scxk.nmpa.gov.cn:81/xk/')

page_source获取浏览器当前页面的页面源码数据

page_text = bro.page_source

解析企业名称

tree = etree.HTML(page_text)
li_list = tree.xpath('//ul[@id="gzlist"]/li')
for li in li_list:
    name = li.xpath('./dl/@title')[0]
    print(name)

关闭浏览器(等待5秒)

sleep(5)
bro.quit()

导包

from selenium import webdriver
from time import sleep

导入动作链对应的类

from selenium.webdriver import ActionChains
bro = webdriver.Chrome(executable_path='./chromedriver.exe')

让浏览器发起一个指定url对应的请求

bro.get('https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')

如果定位的标签是存在于iframe标签之中的则必须通过如下操作在进行标签定位

bro.switch_to_frame('iframeResult')  # 切换浏览器标签定位的作用域
div = bro.find_element_by_id('draggable')

动作链

action = ActionChains(bro)

点击长按指定的标签

action.click_and_hold(div)

perform()立即执行动作链操作、move_by_offset(x,y) : x水平方向 y竖直方向

for i in range(5):
    action.move_by_offset(17, 0).perform()
    sleep(0.5)

释放动作链

action.release()

关闭

bro.quit()







所属网站分类: 技术文章 > 博客

作者:丑八怪

链接:https://www.pythonheidong.com/blog/article/1050284/ebeaf6fd6048c0861f47/

来源:python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

23 0
收藏该文
已收藏

评论内容:(最多支持255个字符)