使用 Python selinum 抓取推文
发布于2022-12-01 07:34 阅读(966) 评论(0) 点赞(16) 收藏(5)
我正在尝试使用 Python selinum 在主题标签下抓取推文，并使用以下代码向下滚动
driver.execute_script('window.scrollTo(0,document.body.scrollHeight);')
问题是 selinum 只抓取显示的推文（只有 3 条推文），然后向下滚动到页面末尾并加载更多推文并抓取 3 条新推文，中间缺少很多推文。
有没有办法显示所有推文，然后向下滚动并显示所有新推文或至少一些新推文（我有一个机制来过滤已经抓取的推文）？
注意我在 GCP VM 上运行我的脚本，所以我不能旋转屏幕。
我认为我可以让脚本不断按下向下箭头，这样我就可以一条一条地显示推文并抓取它们，还可以继续加载更多推文，但我认为这会大大减慢抓取速度。
解决方案
暂无回答
所属网站分类: 技术文章 > 问答
作者：黑洞官方问答小能手
链接：https://www.pythonheidong.com/blog/article/1870636/b15a91cdff87afeb7465/
来源：python黑洞网
任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任
昵称:
评论内容：(最多支持255个字符)
---无人问津也好，技不如人也罢，你都要试着安静下来，去做自己该做的事，而不是让内心的烦躁、焦虑，坏掉你本来就不多的热情和定力