python检测代理ip是否有效问题
更新时间：2023年08月12日 09:29:48 作者：小胖_@
这篇文章主要介绍了python检测代理ip是否有效问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
python检测代理ip是否有效
测试环境
python3.6 、window10系统
测试方法
第一种
- 使用requests模块。
- 使用requests.get() 发请求，根据其返回的网页内容进行判断，代理ip是否有效。
1 2 3 4 5 6 | import telnetlibtry: telnetlib.Telnet(ip, port, timeout=3) print("代理IP有效！")except: print("代理IP无效！") |
- 缺点：虽然可以检测代理ip是否有效，但是该方法只能用于检测少量的代理ip，原因是该方法检测速度比较慢，主要耗时的是发请求这一过程。（可以使用）
第二种
- telnet 方法。
1 | import telnetlibtry: telnetlib.Telnet(ip, port, timeout=3) print("代理IP有效！")except: print("代理IP无效！") |
缺点：虽然该方法可以比较快速的验证，但是经测试发现一些代理ip可以测试通过，但实际上代理ip仍然无效。（不推荐使用）
第三种
利用的http://icanhazip.com/返回的IP进行校验，如返回的是代理池的IP，说明代理有效，否则实际代理无效
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | def check_proxy(ip, port): """第二种：""" try: # 设置重连次数 requests.adapters.DEFAULT_RETRIES = 3 # IP = random.choice(IPAgents) proxy = f"http://{<!-- -->ip}:{<!-- -->port}" # thisIP = "".join(IP.split(":")[0:1]) # print(thisIP) res = requests.get(url="http://icanhazip.com/", timeout=2, proxies={<!-- -->"http": proxy}) proxyIP = res.text if (proxyIP == proxy): print("代理IP:'" + proxyIP + "'有效！") return True else: print("2代理IP无效！") return False except: print("1代理IP无效！") return Falsedef check_proxy(ip, port): """第二种：""" try: # 设置重连次数 requests.adapters.DEFAULT_RETRIES = 3 # IP = random.choice(IPAgents) proxy = f"http://{ip}:{port}" # thisIP = "".join(IP.split(":")[0:1]) # print(thisIP) res = requests.get(url="http://icanhazip.com/", timeout=2, proxies={"http": proxy}) proxyIP = res.text if (proxyIP == proxy): print("代理IP:'" + proxyIP + "'有效！") return True else: print("2代理IP无效！") return False except: print("1代理IP无效！") return False |
推荐使用。
python批量检测IP代理是否可用
首先，我们需要导入必要的库：
然后，我们可以定义一个函数来检测代理是否可用：
1 2 3 4 5 6 7 8 9 10 | def check_proxy(proxy): # 使用代理发起请求，如果返回状态码为200，说明代理可用 try: # 这里替换为你要请求的目标网站 response = requests.get('http://www.baidu.com', proxies={"http": proxy, "https": proxy}, timeout=5) if response.status_code == 200: return True except Exception: pass return False |
接下来，我们可以读取包含代理的文本文件，并将可用的代理写入另一个文件中：
1 2 3 4 5 6 7 8 9 10 11 12 13 | # 读取代理列表with open('proxies.txt', 'r') as f: proxy_list = f.read().splitlines()# 创建用于保存可用代理的列表valid_proxies = []# 遍历代理列表，检测代理是否可用for proxy in proxy_list: if check_proxy(proxy): valid_proxies.append(proxy)# 将可用代理写入文件with open('valid_proxies.txt', 'w') as f: for proxy in valid_proxies: f.write(proxy + '\n') |
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
微信公众号搜索 “ 脚本之家 ” ，选择关注
程序猿的那些事、送书等活动等着你
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权/违法违规/事实不符，请将相关资料发送至 reterry123@163.com 进行投诉反馈，一经查实，立即处理！
相关文章
本文给大家分享的是作者使用python实现杨辉三角的思路，非常的实用，有需要的小伙伴可以参考下2017-07-07
这篇文章主要为大家介绍了Python生成图像特效,本文重点介绍如何使用python进行图像处理,生成各式各样的图像特效,有需要的朋友可以借鉴参考下,希望能够有所帮助2023-10-10
这篇文章主要介绍了Pandas透视表（pivot_table）详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
这篇文章主要介绍了基于python实现音乐播放器代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-07-07
本文将和大家一起了解什么是上下文管理器 和 Python 的 with 语句，以及如何完成自定义。然后扩展 Timer 以便它也可以用作上下文管理器，感兴趣的可以了解一下2022-06-06
今天小编就为大家分享一篇解决Python 中英文混输格式对齐的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
这篇文章主要介绍了Python调用钉钉自定义机器人的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-01-01
这篇文章主要为大家介绍了python生成验证码图片代码，生成原理是将一串随机产生的数字或符号，生成一幅图片，图片里加上一些干扰象素，想要实现验证码图片的朋友可以参考一下2016-01-01
这篇文章主要介绍了python中的异常嵌套的相关资料，帮助大家更好的理解和学习python 异常的相关知识，感兴趣的朋友可以了解下2020-09-09
From CSV to SQLite3 by python 导入csv到sqlite实例
今天小编就为大家分享一篇From CSV to SQLite3 by python 导入csv到sqlite实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
最新评论