Python爬虫怎么应对爬取封禁_更换出口公网IP或使用代理通道

被封IP时requests典型表现为连接超时或ConnectionResetError，而非403；需检查response.text含验证码关键词或Location头，根本原因是出口IP入黑名单，换UA或sleep无效。 被封 IP 时 直接报错的典型表现 最常见的不是 403，而是连接超时或 ，尤其在高频请求后突然卡住几秒再失败；有些站点会返回 200 但 HTML 里塞满验证码或跳转到风控页——这时 毫无意义，得看 里有没有 、 或跳转 标签。 根本原因不是“被识别为 爬虫 ”，而是出口 IP 被记录并加入黑名单。单靠换 或加 基本无效。 别依赖状态码判断是否被封，优先检查响应体内容和重定向头 本地调试时用 对比原始响应，确认是不是服务端主动断连 如果用的是家庭宽带，重启光猫确实能换 IP，但运营商分配的是 NAT 共享池，新 IP 很可能刚被别人用废过 用 接代理必须设对这三处参数 很多人只写 ，漏掉 HTTPS 代理，结果 HTTPS 请求直连被封；或者没关 SSL 验证，代理链路上证书不匹配直接抛异常。 HTTP 和 HTTPS 代理必须**分开指定**： （注意：即使代理协议是 https，这里也填 ，除非代理本身支持 https 协议） 务必加 （配合 ），否则自签名代理证书会中断请求 代理认证若含特殊字符（如 、 ），必须用 编码用户名和密码，否则 URL 解析失败 免费代理基本不能用，但商用代理也有明显坑点 免费代理列表网站给的 IP 大多是 HTTP 透明代理，响应头带 ，目标站一查就暴露真实出口；商用代理看似稳定，但要注意“动态轮换”是否真轮换——有些套餐标称“每分钟换 IP”，实际是客户端 IP 不变，只是代理网关做后端轮询，源头 IP 还是固定的。 Python 3.14.3 微软官方的 Python 扩展，是 VS Code 安装量最高的扩展（209M+）。集成 IntelliSense（通过 Pylance）、调试（通过 Python Debugger）、代码检查、格式化、重构和单元测试等功能。支持 Jupyter Notebook、虚拟环境管理和多 Python 版本切换。 下载 立即学习 “ Python免费学习笔记（深入） ”； 测试代理是否匿名：请求 ，看返回的 IP 是否和代理 IP 一致；再请求 ，检查有没有泄露 或 高并发场景下，别共用一个代理账号——很多代理服务商按并发数限流，超了就降速或断连，表现就是请求随机超时 HTTPS 代理必须支持 CONNECT 方法，否则无法建立隧道， 会静默回退到直连 换出口 IP 的替代方案：容器化 + 网络命名空间隔离 比买代理更可控的方式，是用 Docker 启多个容器，每个绑定不同公网出口。比如用阿里云轻量服务器部署多个实例，每台只跑一个爬虫进程，IP 彼此隔离；或者在本地用 配合不同宿主机网卡（需多网卡或 VLAN 子接口）。 避免用 模式，Docker 默认桥接网络所有容器共享宿主机出口 IP 若用云服务器，选支持“弹性公网 IP”的厂商，绑定/解绑 EIP 只需 API 调用，比换代理更干净 注意 DNS 泄露：容器内默认走宿主机 DNS，如果宿主机 DNS 缓存了被污染的记录，可能绕过代理，建议在容器内显式配置 真正麻烦的从来不是换 IP 这个动作，而是换完之后如何让会话上下文（cookies、TLS 会话复用、TCP 连接池）不崩——代理切换时 TCP 连接要重建， 的连接池默认不会自动清理失效连接，得手动调 再新建。