登录  |  注册
当前位置：网站首页 > 更多 > 编程开发 > 正文

[Python] 爬虫免费可用的代理IP获取

作者：CC下载站 日期：2020-05-29 00:00:00 浏览：69 分类：编程开发

爬虫嘛，速度快了，IP指不定就被禁了，但是市面上很多的免费ip经看不经用，收费的又想白嫖，额说了这么多就是想白嫖而已。然后前段时间在网上瞎转悠的时候看到了一个网站的IP存活情况还算不错，，请求百度，超时设置为0.1秒，然后采集10个存活10个（比我在某宝上1000个存活不到1个的好多了）www.lanol.cn

然后就是自己已经写好的爬取代码（清洗保存这些自己根据需要稍加处理即可）

importparsel
importrequests

url='https://www.7yip.cn/free/?action=china&page=1'
headers={
'user-agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)'
'Chrome/80.0.3987.163Safari/537.36',
}
html=requests.get(url=url,headers=headers).text
html=parsel.Selector(html)
Ip=html.xpath('//td[@data-]/text()').extract()
Port=html.xpath('//td[@data-]/text()').extract()
LeiXing=html.xpath('//td[@data-]/text()').extract()
result=[]
#By：Lan
foriinrange(len(Ip)):
a=(LeiXing[i]+'://'+Ip[i]+':'+Port[i])
pro={LeiXing[i]:a}
result.append(pro)
#代码源于www.lanol.cn
foriinresult:
try:
ssss=requests.get(url='http://www.baidu.com',headers=headers,proxies=i,timeout=0.1).status_code
ifssss==200:
print(i)
except:
print('不合格')


猜你还喜欢

您需要 登录账户 后才能发表评论

取消回复欢迎 你 发表评论:

精品推荐！
欢迎 访客 登录没有账号？
  • 最新文章
  • 热门文章
  • 热评文章
最新评论
热门tag
友情链接

关灯