+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2019-07(2)

2019-08(106)

2019-09(110)

2019-10(14)

2019-11(8)

【python3】使用bs4. BeautifulSoup解析网页介绍

发布于2020-11-09 17:46     阅读(575)     评论(0)     点赞(28)     收藏(0)


0

1

2

3

4

5

6

7

8

9

【python3】使用bs4. BeautifulSoup解析网页

1.背景

爬虫模拟浏览器获取网页的数据。
网页有唯一的URL地址,页面信息由HTML来描述,并使用HTTP/HTTPS协议来传输HTML网页数据;
关于:HTML(HyperText Markup Language)超文本标记语言是一种用于创建网页的标准标记语言。

2.安装

pip install bs4


C:\Users\G7>python -V
Python 3.6.8

C:\Users\G7>pip install bs4
Collecting bs4
  Downloading bs4-0.0.1.tar.gz (1.1 kB)
Collecting beautifulsoup4
  Downloading beautifulsoup4-4.9.3-py3-none-any.whl (115 kB)
     |████████████████████████████████| 115 kB 285 kB/s
Collecting soupsieve>1.2; python_version >= "3.0"
  Downloading soupsieve-2.0.1-py3-none-any.whl (32 kB)
Building wheels for collected packages: bs4
  Building wheel for bs4 (setup.py) ... done
  Created wheel for bs4: filename=bs4-0.0.1-py3-none-any.whl size=1277 sha256=5fd8e30825a0170b1f16f78e84fba037685af463843685dae9c0593bc7a8c926
  Stored in directory: c:\users\g7\appdata\local\pip\cache\wheels\19\f5\6d\a97dd4f22376d4472d5f4c76c7646876052ff3166b3cf71050
Successfully built bs4
Installing collected packages: soupsieve, beautifulsoup4, bs4
Successfully installed beautifulsoup4-4.9.3 bs4-0.0.1 soupsieve-2.0.1

3.简单示例

import requests
import bs4
if __name__=="__main__":
    url="http://www.cwl.gov.cn/"
    #构造一个向服务器请求资源的url对象
    req=requests.get(url=url)

    #设置请求网页的编码格式
    req.encoding="utf-8"
    #获得网页的源代码
    html=req.text

    #html parser解析器
    #BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库
    bf=bs4.BeautifulSoup(html, "lxml")

    #遍历文档进行搜索
    img_url=bf.find_all(class_="n_item")[0]
    print(img_url)
    #<div class="n_item"><a href="/zzjg/" target="_blank">组织机构</a></div>

原文链接:https://blog.csdn.net/jn10010537/article/details/109429886

0

1

2

3

4

5

6

7

8

9



所属网站分类: 技术文章 > 博客

作者:9384vfnv

链接: https://www.pythonheidong.com/blog/article/611371/ccf78c6cd75bd651c959/

来源: python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

28 0
收藏该文
已收藏

评论内容:(最多支持255个字符)