登录  |  注册
当前位置：网站首页 > 更多 > 编程开发 > 正文

[Python] python代理IP池爬取

作者：CC下载站 日期：2020-04-18 00:00:00 浏览：65 分类：编程开发 

importparsel
importrequests

url=''
headers={
'user-agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/80.0.3987.163Safari/537.36',
}
html=requests.get(url=url,headers=headers).text
html=parsel.Selector(html)
Ip=html.xpath('//td[@data-]/text()').extract()
Port=html.xpath('//td[@data-]/text()').extract()
LeiXing=html.xpath('//td[@data-]/text()').extract()
result=[]
foriinrange(len(Ip)):
a=(LeiXing[i]+'://'+Ip[i]+':'+Port[i])
pro={LeiXing[i]:a}
result.append(pro)

foriinresult:
try:
ssss=requests.get(url='http://www.baidu.com',headers=headers,proxies=i,timeout=1).status_code
ifssss==200:
print(i)
except:
print('不合格')


猜你还喜欢

您需要 登录账户 后才能发表评论

取消回复欢迎 你 发表评论:

精品推荐！
欢迎 访客 登录没有账号？
  • 最新文章
  • 热门文章
  • 热评文章
最新评论
热门tag
友情链接

关灯