自动化运维、大数据、Docker

标签:scrapy,爬虫,代理

Python

Scrapy代理池–西刺代理使用

蜷缩的蜗牛阅读(1309)评论(0)赞(0)

西刺代理使用 背景:在辛辛苦苦写好一个爬虫的时候,爬去部分数据之后发现爬虫没法使用了,可能自己出去的公网地址被网站管理员封了;此时就需要使用IP代理池,网上有很多免费的代理池可以使用,当然免费的代理池相对来说稳定性不是特别好,所以需要去校验...