+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2019-08(47)

2019-09(90)

2019-10(13)

2019-11(9)

2019-12(19)

初学爬虫的User-agent

发布于2020-08-29 11:08     阅读(898)     评论(0)     点赞(14)     收藏(3)


0

1

2

3

4

5

6

7

关于初学爬虫的一个小助力

许多人在刚开始接触爬虫时,对于请求的头部,也就是User-Agent需要每次都去复制抓包中的或者搜索一个。其实python中有一个第三方标准库,可以省去不少事,有人知道,也有人不知道,简单的介绍一下用法。这个就是fake_useragent

from fake_useragent import UserAgent,FakeUserAgentError

ua = UserAgent()
headers = {"User-Agent": ua.random}

 print(headers)
#输出如下:
"""
PS C:\Users\Administrator> & python c:/Users/Administrator/Desktop/demo2.py

{'User-Agent': 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1866.237 Safari/537.36'}


"""

这样的第三方库是不是省去复制粘贴的麻烦了呢,这里只是简单的用法,其实还有,就可以去看官方文档了。

原文链接:https://blog.csdn.net/qq_37799799/article/details/108281408

0

1

2

3

4

5

6

7



所属网站分类: 技术文章 > 博客

作者:dfh8374

链接: https://www.pythonheidong.com/blog/article/497805/654a4f09aecc4deff289/

来源: python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

14 0
收藏该文
已收藏

评论内容:(最多支持255个字符)