信号¶
Scrapy广泛使用信号来通知某些事件何时发生。你可以在你的垃圾项目中捕捉到这些信号(使用 extension 例如)执行其他任务或扩展scrapy以添加框外未提供的功能。
即使信号提供了几个参数,捕获它们的处理程序也不需要接受所有参数——信号调度机制只传递处理程序接收的参数。
您可以通过 信号API .
下面是一个简单的示例,演示如何捕捉信号并执行某些操作:
from scrapy import signals
from scrapy import Spider
class DmozSpider(Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/",
]
@classmethod
def from_crawler(cls, crawler, *args, **kwargs):
spider = super(DmozSpider, cls).from_crawler(crawler, *args, **kwargs)
crawler.signals.connect(spider.spider_closed, signal=signals.spider_closed)
return spider
def spider_closed(self, spider):
spider.logger.info('Spider closed: %s', spider.name)
def parse(self, response):
pass
延迟信号处理程序¶
一些信号支持返回 Deferred
对象,允许您运行不阻塞Scrapy的异步代码。如果信号处理程序返回 Deferred
,小淘气等着呢 Deferred
开火。
举个例子:
class SignalSpider(scrapy.Spider):
name = 'signals'
start_urls = ['http://quotes.toscrape.com/page/1/']
@classmethod
def from_crawler(cls, crawler, *args, **kwargs):
spider = super(SignalSpider, cls).from_crawler(crawler, *args, **kwargs)
crawler.signals.connect(spider.item_scraped, signal=signals.item_scraped)
return spider
def item_scraped(self, item):
# Send the scraped item to the server
d = treq.post(
'http://example.com/post',
json.dumps(item).encode('ascii'),
headers={b'Content-Type': [b'application/json']}
)
# The next item will be scraped only after
# deferred (d) is fired
return d
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').get(),
'author': quote.css('small.author::text').get(),
'tags': quote.css('div.tags a.tag::text').getall(),
}
内置信号参考¶
这是一个零碎的内置信号列表及其含义。
发动机信号¶
engine_started¶
- scrapy.signals.engine_started()¶
当废引擎开始爬行时发送。
此信号支持从其处理程序返回延迟。
注解
此信号可能被触发 之后 这个 spider_opened
信号,取决于蜘蛛是如何启动的。所以 不要 依靠这个信号 spider_opened
.
engine_stopped¶
- scrapy.signals.engine_stopped()¶
在报废引擎停止时发送(例如,当爬行过程完成时)。
此信号支持从其处理程序返回延迟。
项目信号¶
注解
最大值时 CONCURRENT_ITEMS
项是并行处理的,许多延迟是使用 DeferredList
. 因此,下一批将等待 DeferredList
激发,然后为下一批报废的项运行相应的项信号处理程序。
item_scraped¶
- scrapy.signals.item_scraped(item, response, spider)¶
当一个项目被爬取时发送,当它通过所有 项目管道 阶段(不下降)。
此信号支持从其处理程序返回延迟。
- 参数
item (item object) -- 刮掉的东西
spider (
Spider
object) -- 爬取项目的蜘蛛response (
Response
object) -- 从项目被爬取的地方得到的响应
item_dropped¶
item_error¶
- scrapy.signals.item_error(item, response, spider, failure)¶
发送时 项目管道 生成错误(即引发异常),除非
DropItem
例外。此信号支持从其处理程序返回延迟。
- 参数
item (item object) -- 中导致错误的项 项目管道
response (
Response
object) -- 引发异常时正在处理的响应spider (
Spider
object) -- 引发异常的蜘蛛failure (twisted.python.failure.Failure) -- 引发的异常
蜘蛛信号¶
spider_closed¶
- scrapy.signals.spider_closed(spider, reason)¶
在蜘蛛关闭后发送。这可用于释放在上保留的每个蜘蛛资源
spider_opened
.此信号支持从其处理程序返回延迟。
- 参数
spider (
Spider
object) -- 已关闭的蜘蛛reason (str) -- 描述蜘蛛关闭原因的字符串。如果它是因为蜘蛛完成了爬取而关闭的,原因是
'finished'
. 否则,如果通过调用close_spider
引擎方法,则原因是reason
该方法的参数(默认为'cancelled'
)如果发动机停机(例如,按ctrl-c停止发动机),原因将是'shutdown'
.
spider_opened¶
- scrapy.signals.spider_opened(spider)¶
在蜘蛛被打开爬行后发送。这通常用于为每个蜘蛛保留资源,但可用于打开蜘蛛时需要执行的任何任务。
此信号支持从其处理程序返回延迟。
- 参数
spider (
Spider
object) -- 已经打开的蜘蛛
spider_idle¶
- scrapy.signals.spider_idle(spider)¶
当蜘蛛空闲时发送,这意味着蜘蛛没有更多:
等待下载的请求
计划的请求
正在项管道中处理的项
如果此信号的所有处理程序完成后空闲状态仍然存在,则引擎将开始关闭蜘蛛。蜘蛛完成闭合后,
spider_closed
发送信号。你可以举起
DontCloseSpider
防止蜘蛛关闭的异常。或者,您也可以引发
CloseSpider
提供自定义爬行器关闭原因的异常。空闲处理程序是放置一些评估最终爬行器结果并相应更新最终关闭原因的代码的理想位置(例如,将其设置为“TOO_LOW_RESULTS”而不是“Finish”)。此信号不支持从其处理程序返回延迟。
- 参数
spider (
Spider
object) -- 空转的蜘蛛
注解
在您的 spider_idle
处理程序 not 确保它可以防止蜘蛛被关闭,尽管有时可以。这是因为如果计划程序拒绝了所有计划的请求(例如,由于重复而被筛选),那么spider可能仍然处于空闲状态。
spider_error¶
- scrapy.signals.spider_error(failure, response, spider)¶
当spider回调生成错误(即引发异常)时发送。
此信号不支持从其处理程序返回延迟。
- 参数
failure (twisted.python.failure.Failure) -- 引发的异常
response (
Response
object) -- 引发异常时正在处理的响应spider (
Spider
object) -- 引发异常的蜘蛛
请求信号¶
request_scheduled¶
- scrapy.signals.request_scheduled(request, spider)¶
在引擎安排
Request
,稍后下载。此信号不支持从其处理程序返回延迟。
- 参数
request (
Request
object) -- 到达调度程序的请求spider (
Spider
object) -- 发出请求的蜘蛛
request_dropped¶
- scrapy.signals.request_dropped(request, spider)¶
在发生以下情况时发送
Request
由引擎调度稍后下载的数据被调度器拒绝。此信号不支持从其处理程序返回延迟。
- 参数
request (
Request
object) -- 到达调度程序的请求spider (
Spider
object) -- 发出请求的蜘蛛
request_reached_downloader¶
- scrapy.signals.request_reached_downloader(request, spider)¶
在发生以下情况时发送
Request
已到达下载器。此信号不支持从其处理程序返回延迟。
- 参数
request (
Request
object) -- 到达下载程序的请求spider (
Spider
object) -- 发出请求的蜘蛛
request_left_downloader¶
- scrapy.signals.request_left_downloader(request, spider)¶
2.0 新版功能.
在发生以下情况时发送
Request
离开下载程序,即使在出现故障的情况下也是如此。此信号不支持从其处理程序返回延迟。
- 参数
request (
Request
object) -- 到达下载程序的请求spider (
Spider
object) -- 发出请求的蜘蛛
bytes_received¶
2.2 新版功能.
- scrapy.signals.bytes_received(data, request, spider)¶
当收到特定请求的一组字节时,由http1.1和S3下载处理程序发送。对于同一请求,此信号可能被多次触发,每次都有部分数据。例如,一个25kb响应的可能场景是两个信号用10kb的数据触发,最后一个信号用5kb的数据触发。
此信号的处理程序可以在响应下载正在进行时停止下载,方法是引发
StopDownload
例外情况。请参阅 停止下载响应 主题,了解更多信息和示例。此信号不支持从其处理程序返回延迟。
- 参数
data (
bytes
object) -- 下载处理程序接收的数据request (
Request
object) -- 生成下载的请求spider (
Spider
object) -- 与响应关联的蜘蛛
headers_received¶
2.5 新版功能.
- scrapy.signals.headers_received(headers, body_length, request, spider)¶
在下载任何附加内容之前,当响应标头可用于给定请求时,由HTTP 1.1和S3下载处理程序发送。
此信号的处理程序可以在响应下载正在进行时停止下载,方法是引发
StopDownload
例外情况。请参阅 停止下载响应 主题,了解更多信息和示例。此信号不支持从其处理程序返回延迟。
- 参数
headers (
scrapy.http.headers.Headers
object) -- 下载处理程序接收的标头body_length (int) -- 响应正文的预期大小,以字节为单位
request (
Request
object) -- 生成下载的请求spider (
Spider
object) -- 与响应关联的蜘蛛