本站消息

站长简介/公众号


站长简介:逗比程序员,理工宅男,前每日优鲜python全栈开发工程师,利用周末时间开发出本站,欢迎关注我的微信公众号:程序员总部,程序员的家,探索程序员的人生之路!分享IT最新技术,关注行业最新动向,让你永不落伍。了解同行们的工资,生活工作中的酸甜苦辣,谋求程序员的最终出路!

  价值13000svip视频教程,python大神匠心打造,零基础python开发工程师视频教程全套,基础+进阶+项目实战,包含课件和源码

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2020-10(8)

2020-11(18)

python解析获取网页链接代码

发布于2021-09-22 22:02     阅读(770)     评论(0)     点赞(3)     收藏(5)



  1. #coding=utf-8
  2. import requests
  3. from bs4 import BeautifulSoup
  4. import time
  5. ticks = time.time()
  6. resp=requests.get('https://news.sina.com.cn/') #请求百度首页
  7. """
  8. print(resp) #打印请求结果的状态码
  9. print(resp.content) #打印请求到的网页源码
  10. """
  11. bsobj=BeautifulSoup(resp.content,'lxml') #将网页源码构造成BeautifulSoup对象,方便操作
  12. a_list=bsobj.find_all('a') #获取网页中的所有a标签对象
  13. time1Str="解析开始 开始时间:"+time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
  14. print(time1Str)
  15. str1="系统共解析 "+str(len(a_list))+" 条记录 "+time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())+"\n"
  16. for a in a_list:
  17. if(len(str(a.get('href')))!=0):
  18. str1+=str(a.get('href'))+"\t"+str(a.get_text()).strip()+"\n"
  19. file =open("test1.txt","w",encoding='utf-8')
  20. file.write(str1) #将回车写入txt文件中
  21. file.close()
  22. ticks2 = time.time()
  23. ticks2=ticks2-ticks
  24. print("解析结束 结束时间:"+time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))
  25. print("共解析"+str(len(a_list))+"条数据"+"\t 用时"+format(ticks2, '.2f')+"秒")

原文链接:https://blog.csdn.net/qq_59717525/article/details/120377867







所属网站分类: 技术文章 > 博客

作者:就是不给你

链接:https://www.pythonheidong.com/blog/article/1045538/a4bcc3316ba8d9cea242/

来源:python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

3 0
收藏该文
已收藏

评论内容:(最多支持255个字符)