scrapy实现断点续爬及定时启动和关闭功能

scrapy实现断点续爬及定时启动和关闭功能如果开发者对于本文件有需要的可以参考。

在定时启动和关闭前，需要先设置断点续爬，将关闭前的数据保存，防止再次启动时
新建一个run.py文件

from scrapy import cmdline
cmdline.execute("scrapy crawl douluo -s JOBDIR=crawls".split())
这样爬虫在正常结束时，会新建一个cralws文件夹，并将进度保存在里面。