本站消息

站长简介/公众号


站长简介:高级软件工程师,曾在阿里云,每日优鲜从事全栈开发工作,利用周末时间开发出本站,欢迎关注我的微信公众号:程序员总部,程序员的家,探索程序员的人生之路!分享IT最新技术,关注行业最新动向,让你永不落伍。了解同行们的工资,生活工作中的酸甜苦辣,谋求程序员的最终出路!

  价值13000svip视频教程,python大神匠心打造,零基础python开发工程师视频教程全套,基础+进阶+项目实战,包含课件和源码

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2021-03(4)

2021-04(4)

趣味爬虫之天气预报信息的获取

发布于2022-01-13 16:34     阅读(50)     评论(0)     点赞(0)     收藏(0)



最近忙着工作上的事,突然想着写个爬虫练练手,想了想,就写了一个爬虫爬取“中国天气网”与并定时发送给微信好友,让他们随时关注天气以表示我的关心呀。程序运行了几天了还算是稳定关于简单的实现过程,下面简单的为大家展示下。

因为中国天气网的网页是动态生成的,所以我们不能直接爬取到数据,需要先使用webdriver打开网页并渲染完成,然后保存网页源代码,使用beautifulsoup分析数据。爬取的数据里面包括实时温度、最高温度与最低温度、污染状况、风向和湿度、紫外线状况,穿衣指南等数据。但是像这样的网站长期爬取还是会遇到反爬机制的,最容易遇到的就是对ip的限制,所以分享的示例里面主要部分就是代理的使用,对很多新手来说是值得学习的,这里主要以爬虫代理动态转发为例,示例如下:

 #! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http://www.weather.com.cn/"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://www.weather.com.cn/"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

数据信息获取的部分就是这么简单,对爬虫感兴趣的小伙伴可以实践起来。对代理方面有需求的可以咨询这里https://www.16yun.cn







所属网站分类: 技术文章 > 博客

作者:yiniuyun

链接:https://www.pythonheidong.com/blog/article/1241858/0e48e6e30a9dd22517da/

来源:python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

0 0
收藏该文
已收藏

评论内容:(最多支持255个字符)