程序员最近都爱上了这个网站  程序员们快来瞅瞅吧!  it98k网:it98k.com

本站消息

站长简介/公众号

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

暂无数据

使用 Python selinum 抓取推文

发布于2022-12-01 07:34     阅读(966)     评论(0)     点赞(16)     收藏(5)


我正在尝试使用 Python selinum 在主题标签下抓取推文,并使用以下代码向下滚动 driver.execute_script('window.scrollTo(0,document.body.scrollHeight);')

问题是 selinum 只抓取显示的推文(只有 3 条推文),然后向下滚动到页面末尾并加载更多推文并抓取 3 条新推文,中间缺少很多推文。

有没有办法显示所有推文,然后向下滚动并显示所有新推文或至少一些新推文(我有一个机制来过滤已经抓取的推文)?

注意我在 GCP VM 上运行我的脚本,所以我不能旋转屏幕。

我认为我可以让脚本不断按下向下箭头,这样我就可以一条一条地显示推文并抓取它们,还可以继续加载更多推文,但我认为这会大大减慢抓取速度。


解决方案


暂无回答



所属网站分类: 技术文章 > 问答

作者:黑洞官方问答小能手

链接:https://www.pythonheidong.com/blog/article/1870636/b15a91cdff87afeb7465/

来源:python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

16 0
收藏该文
已收藏

评论内容:(最多支持255个字符)