asyncio

2.0 新版功能.

SCrapy部分支持 asyncio 。您先 install the asyncio reactor ,您可以使用 asyncioasyncio -支持的库位于任何 coroutine

警告

asyncio Scrapy中的支持是试验性的,尚未推荐用于生产环境。未来的Scrapy版本可能会引入相关更改,而不会出现弃用期限或警告。

安装异步电抗器

使能 asyncio 支持,设置 TWISTED_REACTOR 设置为 'twisted.internet.asyncioreactor.AsyncioSelectorReactor' .

如果您正在使用 CrawlerRunner ,您还需要安装 AsyncioSelectorReactor 反应堆手动。你可以用 install_reactor() ::

install_reactor('twisted.internet.asyncioreactor.AsyncioSelectorReactor')

使用自定义异步循环

您还可以将自定义异步事件循环与asyncio reactor一起使用。设置 ASYNCIO_EVENT_LOOP 设置为所需事件循环类的导入路径以使用它而不是默认的异步事件循环。