本站消息

站长简介/公众号


站长简介:高级软件工程师,曾在阿里云,每日优鲜从事全栈开发工作,利用周末时间开发出本站,欢迎关注我的微信公众号:程序员总部,程序员的家,探索程序员的人生之路!分享IT最新技术,关注行业最新动向,让你永不落伍。了解同行们的工资,生活工作中的酸甜苦辣,谋求程序员的最终出路!

  价值13000svip视频教程,python大神匠心打造,零基础python开发工程师视频教程全套,基础+进阶+项目实战,包含课件和源码

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2021-02(20)

2021-03(29)

python+正则提取+ip代理爬取糗事百科文字信息

发布于2019-08-07 09:48     阅读(147)     评论(0)     点赞(1)     收藏(5)



很多网站都有反爬措施,最常见的就是封ip,请求次数过多服务器会拒绝连接,如图;

在程序中设置一个代理ip,可有效的解决这种问题,代码如下;

# 需要的库
import requests
import re
from multiprocessing import Pool
# 设置代理ip
proxy = {
'https':'111.231.140.109:8888'
}
# 请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
}
# 主函数
def get_character(url):
    # 请求网页,里面加入代理ip
    response = requests.get(url,headers,proxies=proxy)
    # 正则提取内容(作者昵称,内容,好笑数量,评论数量)
    data = re.findall('<h2>(.*?)</h2>.*?<div class="content">.*?<span>(.*?)</span>.*?</div>.*?<span class="stats-vote">.*?'
                          '<i class="number">(.*?)</i>(.*?)</span>.*?<i class="number">(.*?)</i>(.*?)</a>',response.text,re.S)
    # 遍历获取到的数据
    for i in data:
        # 以追加方式写入当前文件加下的qiubai.txt
        with open('qiubai.txt','a+',encoding='utf8') as f:
            # 转换为字符串格式,去空格,替换掉多余内容每条内容加换行
            f.write(str(i).strip().replace(r'\n','')+'\n')
            # 控制台打印查看爬取过程
            print(str(i).strip().replace(r'\n','')+'\n')

# 程序入口
if __name__ == '__main__':
    # 构造所有url
    urls = ['https://www.qiushibaike.com/text/page/{}/'.format(i) for i in range(1,14)]
    # 开启多进程
    pool = Pool()
    # 启动程序
    pool.map(get_character,urls)
    print('爬取完毕')

控制台输出;

打开文件夹查看是否下载成功;

 

done







所属网站分类: 技术文章 > 博客

作者:雪儿

链接:https://www.pythonheidong.com/blog/article/9518/ce2b2531bb23737af8fa/

来源:python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

1 0
收藏该文
已收藏

评论内容:(最多支持255个字符)