当前位置:网站首页 > 更多 > 编程开发 > 正文

[Python] Scrapy笔记

作者:CC下载站 日期:2020-03-01 00:00:00 浏览:51 分类:编程开发

快捷启动.py

fromscrapy.cmdlineimportexecute
execute(['scrapy','crawl','ZhiLianZhaoPin'])

创建Scrapy爬虫项目

调出 CMD,输入如下代码并按【Enter】键,创建 Scrapy 爬虫项目:

scrapy startproject stockstar

其中 scrapy startproject 是固定命令,stockstar 是工程名字。

settings.py中关闭遵循robot

ROBOTSTXT_OBEY=False

创建Scrapy爬虫

scrapy genspider stock quote.stockstar.com

名称允许爬取域名

您需要 登录账户 后才能发表评论

取消回复欢迎 发表评论:

关灯