程序员最近都爱上了这个网站  程序员们快来瞅瞅吧!  it98k网:it98k.com

本站消息

站长简介/公众号

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

暂无数据

Python笔记-requests获取web数据及下载文件

发布于2020-03-11 20:31     阅读(1528)     评论(0)     点赞(7)     收藏(4)


使用Python去搞web获取数据相关的东西的确方便。302重定向也能自动解决。

如下FIddler抓包:

这个还是挺好的,可以直接处理302,挂证书也方便:

获取数据源码如下:

  1. def getContent(self, path):
  2. if os.path.exists(path):
  3. with open(path, "r", encoding="utf-8") as f:
  4. return f.read()
  5. return ''

下载文件源码如下:

  1. def downLoadFile(self, url, fileName):
  2. # r = requests.get(url)
  3. #r = requests.get(url, vertify = False)
  4. print("开始下载" + fileName)
  5. r = requests.get(url, proxies = {"http": "http://127.0.0.1:8888", "https": "http:127.0.0.1:8888"},
  6. verify=r"D:/Fiddler/FiddlerRoot.pem")
  7. print(fileName + "下载结束")
  8. if r.status_code == 200:
  9. #200直接下载
  10. with open(fileName, "wb") as code:
  11. code.write(r.content)
  12. pass
  13. pass

 



所属网站分类: 技术文章 > 博客

作者:四季度炒肉

链接:https://www.pythonheidong.com/blog/article/252614/843d0a4e6c0d70557780/

来源:python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

7 0
收藏该文
已收藏

评论内容:(最多支持255个字符)