+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

暂无数据

如何测试通过几个不同的代理服务器访问URL的脚本?

发布于2021-01-02 13:46     阅读(2098)     评论(0)     点赞(12)     收藏(2)


0

1

2

3

4

5

现在,这是脚本:

import json
import urllib2  

with open('urls.txt') as f:
    urls = [line.rstrip() for line in f]
with open('proxies.txt') as proxies:
    for line in proxies:
        proxy = json.loads(line)
        proxy_handler = urllib2.ProxyHandler(proxy)
        opener = urllib2.build_opener(proxy_handler)
        urllib2.install_opener(opener)
        for url in urls:
            data = urllib2.urlopen(url).read()
            print data

这是urls.txt文件:

http://myipaddress.com

和proxies.txt文件:

{"https": "https://87.98.216.22:3128"}
{"https": "http://190.153.7.189:8080"}
{"https": "http://125.39.68.181:80"}

我在http://hidemyass.com上获得的

我一直在尝试通过终端输出(一堆html)进行测试,以查看它是否在某处显示了ip地址,并希望它是代理ip之一。但这似乎不起作用。根据ip识别站点的不同,它可能会引发连接错误,或者告诉我我必须输入验证字母(尽管通过浏览器查看的站点运行正常)。

所以我要以最好的方式去做吗?有没有更简单的方法来检查该网址看到的IP地址?

编辑:我在其他地方(在另一个论坛上)听说,一种检查URL是否正在从其他ip访问的方法是检查交叉标头(例如html标头表明它已被重定向)。但我找不到更多信息。


解决方案


您可以像这样使用更简单的网站例:

码:

import json 
import urllib2

with open('urls.txt') as f:
    urls = [line.rstrip() for line in f]
with open('proxies.txt') as proxies:
    for line in proxies:
        proxy = json.loads(line)
        proxy_handler = urllib2.ProxyHandler(proxy)
        opener = urllib2.build_opener(proxy_handler)
        urllib2.install_opener(opener)
        for url in urls:
            try:
                data = urllib2.urlopen(url).read()
                print proxy, "-", data 
            except:
                print proxy, "- not working"

urls.txt:

http://api.exip.org/?call=ip

proxies.txt:

{"http": "http://218.108.114.140:8080"}
{"http": "http://59.47.43.93:8080"}
{"http": "http://218.108.170.172:80"}

输出:

{u'http': u'http://218.108.114.140:8080'} - 218.108.114.140
{u'http': u'http://59.47.43.93:8080'} - 118.207.240.161
{u'http': u'http://218.108.170.172:80'} - not working
[Finished in 25.4s]

注意:这都不是我的真实IP。

或者,如果您想使用http://myipaddress.com,则可以通过提取包含IP的确切HTML元素来使用BeautifulSoup

0

1

2

3

4

5

6

7

8



所属网站分类: 技术文章 > 问答

作者:黑洞官方问答小能手

链接: https://www.pythonheidong.com/blog/article/733622/4e71cd98800bdf628f6d/

来源: python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

12 0
收藏该文
已收藏

评论内容:(最多支持255个字符)