download_files_in_parallel#

astropy.utils.data.download_files_in_parallel(urls, cache='update', show_progress=True, timeout=None, sources=None, multiprocessing_start_method=None, pkgname='astropy')[源代码]#

从给定的url并行下载多个文件。

阻止,直到所有文件都已下载。结果是与给定URL相对应的本地文件路径列表。

结果将存储在缓存中的值下 urls 即使它们是从其他地方通过 sources . 见 download_file 有关详细信息。

参数:
urls : liststrPYTHON:PYTHON列表:字符串

要检索的URL。

cache : bool 或“更新”,可选bool或“update”,可选

是否使用缓存(默认为 True ). 如果“更新”,则始终下载远程URL以查看是否有新数据,并将结果存储在缓存中。

在 4.0 版本发生变更: 默认值已更改为 "update" 设置为 False 将打印警告并将其设置为 "update" 同样,因为没有缓存,函数将无法正常工作。使用 True 将按预期工作。

在 3.0 版本发生变更: 默认值已更改为 True 设置为 False 将打印警告并将其设置为 True 同样,因为没有缓存,函数将无法正常工作。

show_progress : bool ,可选可选的布尔

是否在下载过程中显示进度条(默认为 True

timeout : float ,可选Python:Float,可选

每个单独请求的超时(以秒为单位)(默认为可配置 astropy.utils.data.Conf.remote_timeout

sources : dict ,可选Python:Dict,可选

如果提供,则为每个URL提供一个要尝试从中获取文件的URL列表。结果将存储在原始URL下。对于此词典中的任何URL,原始URL将 not 除非它在这个列表中,否则请尝试;这是为了防止长时间等待主服务器,而主服务器目前是不可访问的。

multiprocessing_start_method : str ,可选Python:字符串,可选

主要用于测试;如果有疑问,请将其保留为默认值。使用多处理时,使用“spawn”方法(Windows上的唯一选项)启动进程时会出现某些异常;使用“fork”方法(Linux上的默认设置)会出现其他异常。

pkgname公司str 可选可选的STR

用于定位下载缓存的包名称。i、 e代表 pkgname='astropy' 默认的缓存位置是 ~/.astropy/cache .

返回:
paths : liststrPYTHON:PYTHON列表:字符串

与下载的URL相对应的本地文件路径。

笔记

如果无法访问URL,下载将停止,异常将向上传播,但成功下载的文件数量将无法预测,并将保留在缓存中。