cookie池的维护
发布于2019-08-05 11:08 阅读(412) 评论(0) 点赞(4) 收藏(4)
存储形式：
- 存储在redis中，“spider_name:username–password":cookie
建立py文件及包含方法：
- initcookies() 初始化所有账号的cookies，将所有账号对用进行登陆获取cookies并保存在redis中
- update_cookie(spider_name,username,password) # 重新获取账号对应的cookies，并存入redis中
- remove_cookie(spider_name,usrname,password) # 从redis中删除改账号对应的cookie
- get_cookie(username,password) # 尝试登陆该账号获取cookies
在scrapy下载器中间件的process_request()随机从cookie池选择一个cookie，对request进行设置，并在request的meta中保存cookie对应的账号
def process_request(self,request,spider): # 获取redis中所有的键（假设redis中只保存了cookies） redisKeys = self.rconn.keys() elem = random.choice(redisKeys) request.cookies = cookie # 在请求中记录当前cookies对应的账号和密码 request.meta["accountText"] = elem.split(":")[-1]
在下载器中间件的process_response()获取响应，如果响应状态码为301、302等，说明页面重定向，该cookie失效，进行cookie的更新与删除
def process_response(self,request,response,spider): if response.status in [300, 301, 302, 303]: # 获取重定向的url redirect_url = response.headers["location"] if url == "login_url":# 如果是登陆页面，说明当前cookies失效了，需要更新 username,passworod = request.meta['accountText'].split("--") update_cookie(spider_name,username,password) elif url=="验证页面":# 说明账号被封了 username,passworod = request.meta['accountText'].split("--") remove_cookie(spider_name,username,password) request = request.copy() request.dont_filter = True return request
所属网站分类: 技术文章 > 博客
作者：老板跑路了
链接：https://www.pythonheidong.com/blog/article/4223/6588452fdf7f50d38630/
来源：python黑洞网
任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任
昵称:
评论内容：(最多支持255个字符)
---无人问津也好，技不如人也罢，你都要试着安静下来，去做自己该做的事，而不是让内心的烦躁、焦虑，坏掉你本来就不多的热情和定力