本站消息

站长简介/公众号


站长简介:高级软件工程师,曾在阿里云,每日优鲜从事全栈开发工作,利用周末时间开发出本站,欢迎关注我的微信公众号:程序员总部,程序员的家,探索程序员的人生之路!分享IT最新技术,关注行业最新动向,让你永不落伍。了解同行们的工资,生活工作中的酸甜苦辣,谋求程序员的最终出路!

  价值13000svip视频教程,python大神匠心打造,零基础python开发工程师视频教程全套,基础+进阶+项目实战,包含课件和源码

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2021-03(4)

2021-04(4)

抢购你“秒”到了吗?

随着互联网的快速发展,电商的秒杀和抢购,短视频的直播带货对我们来说,都不是一个陌生的东西。很多商家都有这样那样的抢购活动,手机如小米等,服饰如耐克新鞋等,还有团购网上各种霸王餐、电影票限时限量抢

发布于2021-03-08 17:26     评论(0)     点赞(0)

小红书采集的分享

对于小红书我们都不陌生,一个号称拥有超过一亿用户的生活分享app。其用户笔记内容涵盖吃穿玩乐买,涉及时尚、护肤、彩妆、美食、旅行、影视、读书、健身等各个生活方式的各个领域,而且每天都有很多的用户

发布于2021-03-15 17:43     评论(0)     点赞(0)

如何使用selenium登录获取cookie

在我们日常爬虫过程中经常会涉及使用cookie,那么我们今天来聊聊关于cookie的一些使用。我们都知道Cookie是指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数

发布于2021-03-22 17:30     评论(0)     点赞(0)

关于动态转发代理的获取

作为网络爬虫工作者,在数据采集过程中用到代理是基本的需求。关于代理的使用方式,一般就是两种模式的,api获取代理信息和动态转发。今天我们重点说说动态转发的。动态转发是一种只需要配置代理参数到程序

发布于2021-03-29 17:30     评论(0)     点赞(0)

爬虫代理基础知识

在做爬虫的过程中经常会遇到这样的情况,一开始爬虫正常运行,正常抓取数据。,然而过一会就可能就会出现错误,比如403 错误,这时候打开网页一看,可能会看到“您的IP访问频率太高”这样的提示。出现这

发布于2021-04-07 17:01     评论(0)     点赞(0)

头条网站的反爬机制很严吗?

今天分享下使用selenium采集今日头条。头条之前都是很友好的网站,数据的采集也不需要费很大的心思,但是最近的反爬机制突然变的很严了,采集的难度更大,挂了代理采集根本就获取不到数据。所以要采集

发布于2021-04-14 17:00     评论(0)     点赞(0)

获取有价值信息的途径

虽然现在是大数据时代,并不是所有数据都是有用的,有价值的数据还是不多。要想从海量数据中寻找有价值的数据我们可以进行数据采集。即从大量不相关的各种类型的数据中,挖掘出对未来趋势与模式预测分析有价值

发布于2021-04-22 17:01     评论(0)     点赞(0)

你是怎么为自己的爱豆助力的

作为明星,要想红,就需要很多的附带数据,但是现实生活中真的是没有那么多人去关注一个明星的方方面面的,那要成为一个比较出名或顶流的明星就需要一些数据来体现。比如以下这些。 1、粉丝量

发布于2021-04-28 17:10     评论(0)     点赞(0)

“百亿”播放量怎么来的呢?

在这个流量时代,流量直接代表了利益,流量越高,获得的利益越高。比如我们一直都会觉得很疑惑的一个现象,关于一些电视剧的播放量,明明我们才十几亿的人,为何哪些电视却又几百亿的播放量?

发布于2021-05-10 16:44     评论(0)     点赞(0)

科比:你是信仰,亦是青春

这几天刷到很多科比入选名人堂的消息,我相信有很多的科比的球迷看到这个会很激动,很多人喜欢科比球风和“曼巴精神”。转眼科比离开已经一年多了,刷到他的信息依然很难过,曾经多少人把他当做人生的信仰,多

发布于2021-05-18 16:25     评论(0)     点赞(0)

通过搭建squid实现爬虫需求

在我们日常数据采集过程中肯定会遇到这样的一些问题,比如我们的程序在使用代理过程中不支持用户认证模式、我们需要对一些数据做缓存或者需要过滤一些数据。那么我们可以通过搭建squid,然后设置squi

发布于2021-05-26 16:23     评论(0)     点赞(0)

你的华为申请鸿蒙系统了吗?

6月2日,华为发布新一代鸿蒙系统,支持手机搭载,据华为介绍,鸿蒙系统操作简单,可以同时连接多个设备,但就像使用一台设备一样简单,具有统一的控制中心,以卡片的形式方便地操控,组成各种各样的超级终端

发布于2021-06-03 16:22     评论(0)     点赞(0)

粽子甜咸之争谁胜出?

又到一年端午节,作为中华民族的传统节日,传说粽子是为祭奠投江的屈原而传承下来的,所以吃粽子是端午的主要习俗之一。粽子的包法和形状也很有讲究,除了常见的三角粽、四角粽,还长粽、塔型粽和牛角粽等等。

发布于2021-06-11 16:02     评论(0)     点赞(0)

爬虫你们是使用的什么框架呢?

不知道大家日常爬虫工作中会使用到什么框架呢?我一般都是使用的Scrapy,它是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。并且它框架的力量很强大,用户

发布于2021-06-22 16:33     评论(0)     点赞(0)

疯狂欧洲杯

对于刚刚结束的欧洲杯两场决赛,简直不要太疯狂了。最热点应该是以下三个。1、西班牙超级失误,“成就”小将佩德里“首球(乌龙)”,创造新纪录。2、瑞士90分钟绝平,最终将法国队拖入点球大战!3、姆巴佩

发布于2021-06-29 16:42     评论(0)     点赞(0)