抓取网页的所有元素
发布于2023-03-21 14:24 阅读(924) 评论(0) 点赞(23) 收藏(2)
我正在尝试抓取该网站的所有元素（图像、图形、超链接） 。但是，不幸的是，图像、图表和超链接没有正确抓取。我尝试使用 bs4。
import requests
from bs4 import BeautifulSoup
url ='https://www.gold.org/goldhub/research/investment-update-case-gold-uk-defined-benefit-schemes'
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')
lay_content = soup.find("div", {"class": "layout-content"})
这样，提取的内容并没有得到所有的东西。我怎样才能做到这一点？谢谢阅读。
解决方案
你可以使用find_all()方法。
当没有参数传递时，它将返回所有元素。
所以，这应该为您提供页面上的所有元素。
import requests
from bs4 import BeautifulSoup
url ='https://www.gold.org/goldhub/research/investment-update-case-gold-uk-defined-benefit-schemes'
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')
lay_content = soup.find_all()
所属网站分类: 技术文章 > 问答
作者：黑洞官方问答小能手
链接：https://www.pythonheidong.com/blog/article/1944129/fb4bc226e0b156ef7ec4/
来源：python黑洞网
任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任
昵称:
评论内容：(最多支持255个字符)
---无人问津也好，技不如人也罢，你都要试着安静下来，去做自己该做的事，而不是让内心的烦躁、焦虑，坏掉你本来就不多的热情和定力