本站消息

站长简介/公众号


站长简介:逗比程序员,理工宅男,前每日优鲜python全栈开发工程师,利用周末时间开发出本站,欢迎关注我的微信公众号:幽默盒子,一个专注于搞笑,分享快乐的公众号

  价值13000svip视频教程,python大神匠心打造,零基础python开发工程师视频教程全套,基础+进阶+项目实战,包含课件和源码

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2021-03(4)

2021-04(4)

旅游行业复苏也需要注意疫情的防护

发布于2021-07-28 16:42     阅读(180)     评论(0)     点赞(0)     收藏(0)



疫情真的是反反复复,这两天成都的突增3例,而且2个大人都已注射两剂次疫苗,这 说明delta病毒凶猛,不要心存侥幸,打了疫苗的一样要加强防疫不要松懈。虽然新增案例让大家又开始陷入了一阵小恐慌。但是最重要的是我们现在必须做好防护工作。我们从患者的行程中看到,他们去了湖南张家界旅游,并且和云南感染者在同一个旅游景点有交集。

而且最近朋友圈不是被大家的旅行足迹刷屏了吗,惊叹于那些把全国所有省基本走遍的朋友。刚好又看到新增案例也是因为旅游导致的,所以就萌生了写一篇旅行相关的内容,本次数据来源于一个对于爬虫十分友好的旅行攻略类网站:蚂蜂窝

这里我们主要分享下数据的抓取过程,话不多说,上代码:

const http = require("http");
const url = require("url");

// 要访问的目标页面
const targetUrl = "https://www.mafengwo.cn/";


const urlParsed = url.parse(targetUrl);

// 代理服务器(产品官网 www.16yun.cn)
const proxyHost = "t.16yun.cn";
const proxyPort = "36600";

// 生成一个随机 proxy tunnel
var seed = 1;
function random() {
    var x = Math.sin(seed++) * 10000;
    return x - Math.floor(x);
}
const tunnel = random()*100;

// 代理验证信息
const proxyUser = "16MCUWZB";
const proxyPass = "149750";

const base64    = new Buffer.from(proxyUser + ":" + proxyPass).toString("base64");

const options = {
    host: proxyHost,
    port: proxyPort,
    path: targetUrl,
    method: "GET",
    headers: {
        "Host": urlParsed.hostname,
        "Proxy-Tunnel": tunnel,
        "Proxy-Authorization" : "Basic " + base64
    }
};

http.request(options, function (res) {
    console.log("got response: " + res.statusCode);
    res.pipe(process.stdout);
}).on("error", function (err) {
    console.log(err);
}).end();

这里我们还是需要注意下,网站虽然友好,但不代表人家会让你肆无忌惮的访问呀,所以我们基本的反爬策略之爬虫代理必须要挂上的,不要问小编哪家的质量好,问就是代码里面提供的这家。






所属网站分类: 技术文章 > 博客

作者:yiniuyun

链接:https://www.pythonheidong.com/blog/article/1005991/4ddbd5f8b70cee0ee413/

来源:python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

0 0
收藏该文
已收藏

评论内容:(最多支持255个字符)