download_files_in_parallel#
- astropy.utils.data.download_files_in_parallel(urls, cache='update', show_progress=True, timeout=None, sources=None, multiprocessing_start_method=None, pkgname='astropy')[源代码]#
从给定的url并行下载多个文件。
阻止,直到所有文件都已下载。结果是与给定URL相对应的本地文件路径列表。
结果将存储在缓存中的值下
urls
即使它们是从其他地方通过sources
. 见download_file
有关详细信息。- 参数:
- urls :
list
的str
PYTHON:PYTHON列表:字符串 要检索的URL。
- cache : bool 或“更新”,可选bool或“update”,可选
是否使用缓存(默认为
True
). 如果“更新”,则始终下载远程URL以查看是否有新数据,并将结果存储在缓存中。在 4.0 版本发生变更: 默认值已更改为
"update"
设置为False
将打印警告并将其设置为"update"
同样,因为没有缓存,函数将无法正常工作。使用True
将按预期工作。在 3.0 版本发生变更: 默认值已更改为
True
设置为False
将打印警告并将其设置为True
同样,因为没有缓存,函数将无法正常工作。- show_progress : bool ,可选可选的布尔
是否在下载过程中显示进度条(默认为
True
)- timeout :
float
,可选Python:Float,可选 每个单独请求的超时(以秒为单位)(默认为可配置
astropy.utils.data.Conf.remote_timeout
)- sources :
dict
,可选Python:Dict,可选 如果提供,则为每个URL提供一个要尝试从中获取文件的URL列表。结果将存储在原始URL下。对于此词典中的任何URL,原始URL将 not 除非它在这个列表中,否则请尝试;这是为了防止长时间等待主服务器,而主服务器目前是不可访问的。
- multiprocessing_start_method :
str
,可选Python:字符串,可选 主要用于测试;如果有疑问,请将其保留为默认值。使用多处理时,使用“spawn”方法(Windows上的唯一选项)启动进程时会出现某些异常;使用“fork”方法(Linux上的默认设置)会出现其他异常。
- pkgname公司 :
str
可选可选的STR 用于定位下载缓存的包名称。i、 e代表
pkgname='astropy'
默认的缓存位置是~/.astropy/cache
.
- urls :
- 返回:
笔记
如果无法访问URL,下载将停止,异常将向上传播,但成功下载的文件数量将无法预测,并将保留在缓存中。