世界数据中心(WDC)系统的历史和演化

H. Rishbeth

(英国南安普顿大学物理系,卢瑟福•阿普尔顿实验室 WDC专门委员会秘书,1990年9月)

世界数据中心系统创建于国际地球物理年(IGY)时期(1957—1958年),以收集、存档和发布多种地球物理和太阳数据。自那时起,世界数据中心系统已为许多国际项目提供服务。今天,有四十多个世界数据中心机构为90年代的科学计划服务,著名的有日-地能量研究计划(STEP)和国际地圈-生物圈计划(IGBP)。这篇文章主要从日-地物理的观点描述WDC系统。

1 引言

1.1 历史背景

日-地物理历来依赖于从许多不同地点获得数据的可能性,这些数据覆盖了从秒到世纪范围的时间尺度,许多地球物理参数及他们随地点、时间以及太阳、行星际和地磁条件的变化研究是必不可少的。这与多数实验科学有相当大的区别,实验科学的结果原则上能在世界上任何时间、任何地点重复做出。

在不同的地点进行协调的地球物理观测开始于1882—1983年的第一次国际极年(GPY),远远早于日-地物理的科学构想,虽然日-地物理的一些基本观点已经存在,例如,C.F.高斯和凯尔文勋爵曾独立地提出(分别于1839年和1860年)地磁日变化源于地球大气层中电流流动;巴尔弗•斯图尔特1882年推测(大不列颠百科全书,第9版)这些电流是由于吹过地磁场的风的发电机作用产生的,这些思想早已引入地磁学、 电离层物理和日-地关系研究,虽然电流的性质没能具体化,因为电子的发现和基本的电离知识仍留给未来。到1932—1933年的第二次极年,地磁学已有很坚实的基础,电离层已被发现。太阳影响已在建立,从极年获得的数据为科学家长期使用的时期已到来。

第二次世界大战后,知识和技术取得了巨大进步,特别在火箭、雷达的发展及未来发射人造卫星的可能性推动了纪念两次极年25和75周年的主要计划——1957至1958年的国际地球物理年,最初计划中关于数据存档要便于全体科学家所利用的远见,今天仍是世界数据中心系统的核心。

从创建起,各个数据中心的管理和经费是所在国的责任,工作由国际地球物理年专门委员会(CSAGI)监督,CSAGI是由国际科学联合会理事会(ICSU)为响应1951年最早的IGY建议而设立的。在国际地球物理年中各学科数据收集和交换的详细建议在ICSU成员组织的帮助下得以发展,并于1957年出版了一系列“世界数据中心国际数据交换指南”,其后,于1963年、1973年和1979年再版。最后,WDC系统不仅为IGY数据提供了“家”,而且也为过去数十年中从世界各地获得的老数据提供了“家”。

1.2 IGY中的WDC系统

由于某些因素,世界数据中心成组地建立在不同的地区。在美国和苏联以综合中心的形式组建,分别为WDC-A和WDC-B,每个都覆盖了地球物理年所涉及的所有学科。其它国家建立的中心,联合的有WDC-C,它的机构分别位于欧洲、亚洲和澳大利亚,反映了建立中心的科学机构的兴趣与专长,他们没有形成完整的一套,所以一些 地球物理年的学科只有WDC-A和WDC-B为之服务。三重系统的基本道理是利用许多不同国家资源和专长,不只限于美国和苏联,为观测台和各个实验室向中心提交数据提供方便的渠道,也为愿意利用数据的科学家提供方便;在中心之间交换数据形成双份或三份档案,是为了防止数据灾难性丢失。

1.3 WDC系统运行原则

在IGY和随后的年代里,WDC系统运行的最重要的原则可以概括如下:

  • 观测站和各个试验者按“WDC指南”的说明向WDC提交数据;

  • 提供给WDC机构存档的数据,主要以模拟和表格形式(WDC机构不负责质量控制);

  • 数据在WDC-A、WDC-B和WDC-C之间无偿交换;

  • 数据向所有的科学家提供,尽可能免费提供或只收取不超过拷贝和寄送的费用;

  • WDC没有特许的或保密的数据;

  • 所有的WDC机构向来访的科学家开放。

2 WDC系统的演化

WDC系统在IGY期间无可争议的成功导致ICSU决定无限期延长WDC,自1960年先在国际地球物理委员会(CIG)的监督下,后在1968年成立的ICSU WDC专门委员会的监督下运行,专门委员会成员包括ICSU各团体和政府间组织、WDC机构服务的科学计划以及WDC机构本身的代表。WDC系统也与“固定服务”相联系,这是在ICSU天文与地球物理联合会(FAGS)的监督下,参与短期数据的获取与发布和“实时”数据服务。一些研究机构同时归于FAGS和WDC系统,是由于他们工作有不同的方面。

这一节论述WDC系统所服务的科研计划(2.1节),现在的结构(2.2节),数据交换政策(2.3节),数据处理技术(2.4节),派生数据的应用(2.5节)和新的服务 (2.6节)。虽然许多实践和问题对整个WDC系统有其共性,但某些细节却是具体针对日-地物理领域的。

2.1 国际计划

正如第一节所描述的,WDC系统的构想是为满足ICSU的一个重要计划-国际地球物理年的需要。在日-地物理领域,它已为1964 — 1965年的国际太阳平静年(IQSY) 及跨越1967—1979年的全球大气研究计划(GARP)和相关的实验服务,也为1976— 1979年的国际磁层研究(INS)、1979— 1981年的太阳峰年(SMY)计划和1982—1985年的中层大气计划(MAP)服务。系统目前面临许多新的要求,特别是1990 — 1995年的日-地能量研究计划及日-地领域的相关计划。主要的挑战是由1991 一2000年的国际地圈-生物圈计划所体现的全球变化的思想,因其不但尺度大,而且所包含的某些学科对WDC系统来说是新的。

2.2 WDC系统目前的结构

WDC系统的基本形式已存在了三分之一个世纪或三个太阳周期,但许多细节已变化。简略说,从1957年到1990年间,虽然数据量有了巨大扩展,技术上有长足进步,并且地点也有变化,综合中心WDC-A和WDC-B很大程度上保持了他们的基本的组织。1988年在中届建立了一个新的综合中心,并在北京设立了功能类似WDC-A在华盛顿的办公室的协调办公室。WDC-C的名称是很复杂的,欧洲的WDC机构设在六个国家的一些独立研究所,由于在日本有相同学科的WDC-C2,因此设为WDC-C1,否则,欧洲中心可简单地称作WDC-C。在WDC-C中已发生许多变化:自国际地球物理年以来,一些中心或多或少地维持了连续的运行,但其它的中心有的已迁移,有的已停止作为WDC机构活动或完全关闭。

2.3 数据交换政策

随着WDC系统的演化和保存数据量的增长,数据一式三份的原则不得不修改。 在一些地球物理年的学科中,日常的数据交换仍在继续,正在很好地安排,不使其负担和花费过重。然而,由于某些原因,难以对所有类型的数据持续进行日常交换,也不能将新技术引入数据。

首先,对航天器获得的大型数据集要复制几份已变得不可能,因为档案的实际体积太大和支出将远远超过WDC机构的预算,这已超过了任何对数据可能灾难性丢失的关心。第二,许多航天器和一些数据集被拥有获得数据仪器的实验者在至少一年或别的特定时间内执行“优先”特权,这些数据在所有的特权期满前,WDC不可能获得。第三,大型数据集在实验者所在的研究所存档往往更现实,这种情况下,WDC系统通常 以“分派者的姿态”活动,即保存数据集信息而不是实际数据,来扩展WDC的服务,使实验者和使用者都得益,用增加信息流的方法,也使WDC有可能更有效地为社会服务。

对这些问题的一个反响是建立国家数据中心,他们可能与WDC机构建在一起并用相同的工作人员。通常国际社会可获取这些中心的数据,虽然他们可能要服从“交通规则”,而且他们也无权免费或减价给其它WDC机构拷贝数据。

2.4 数据处理技术

IGY期间,数据处理基本上是人工方式,电子计算机还在幼年期,他们在数据处理中的潜势在IGY进行时才刚开始发展。IGY数据主要为模拟形式,如记在胶卷和记录纸上的地磁记录图和电离图。之后的二十多年里,观测数据日益数字化并以磁带、穿孔卡和穿孔纸带等机器可读形式存档,使得科学分析更加便利,但带来了机器兼容性和过时废弃等新的问题,仍未解决存储空间和贮存介质特别是以胶卷和纸为基质存档的数据逐渐变质问题。以合理的效率和经济方式发布和交换数据的问题。已经由于数据逐渐计算机化和静电拷贝、电子邮件的发展而减轻。

从大约1980年始,许多数据已经以计算机可读的形式生产,但老数据集产生了巨大的问题,1980年前存档的大部分数据仍为纸质的,数据数字化的巨额花费阻碍了这项工作,一些WDC机构开始着手选择将最重要的归档数据数字化,用手工或象文件扫描器这样的装置进行。选择数字化数据集的标准包括它们的长度(数据集已超出专为 IGY服务的价值)、使用频度(特别与预测预报服务有关的)、数据记录地点的地球物理重要性、数据的精确性和标定的连续性。

新技术已广泛引进WDC系统,WDC机构之间通过电子邮件联系,对一些已计算机化的数据目录,为使用者提供在线服务。一些WDC机构专门为某一学科服务(如电离层),产生共同目录。现在数据的存贮和发布用软盘、只读激光盘(CD-ROM ) 和光盘(只读光盘和可擦写光盘),并正在做利用其它介质的实验。一个主要的进步是美国国家地球物理数据中心(NGDC)的WDC-A的日-地物理分中心,以0.5千兆CD-ROM盘提供综合日-地物理数据集,除利于使用者外,这个进步减轻了WDC工作人员的日常工作,使他们能专心于新的发展和服务。为描述现今的地位,ICSU专门小组正在出版一系列新的“WDC系统指南”,这项工作开始于1987年并逐步扩展和更新。

2.5 派生和实时数据

许多科学家要求数据以压缩或派生形式代替原始记录,一些压缩由WDC机构完成,这项工作通常是记录数据的观测站的责任或象FAGS这样的研究机构的固定服务。派生和压缩的数据(象地球物理参数按小时、天、月平均)被通常以表格形式辑存在小册子和简报上,可广泛传播到WDC系统之外。未来的压缩工作,例如处理广泛使用的太阳-地球物理活动指数(如地磁指数Kp、Ap、Dst),其结果要使数据集密集到足以广泛发表在科学文献上,并可通过在线网络获得。在太阳-地球物理预报方面需要实时数据,如国际预警服务IUWDS (国际科技资料传送和世界日服务)。这些服务虽然可能涉及到WDC机构,但大部分属固定服务。

2.6 新的WDC服务

WDC机构现在提供许多新的服务,远远超出IGY传统的运行模式。各种信息服务、数据集和地球物理模型(如地磁场和高层大气参数),可通过国家网络的在线服务获得。在1976-1979年的国际磁层研究期间,WDC-A的卫星状态中心和集中信息交换办公室向科学家提供了有价值的服务。在使数据成为可获取的数据方面和作为所从事领域有经验的专家,WDC的工作人员在日-地物理联合数据分析工作组(CDAW)等活动中发挥关键的作用。

在ICSU专门委员会的推动下,WDC机构参与了向发展中国家用户提供环境数据集的工作,例如由气象卫星图象生成的非洲地区植物指数磁盘,连同其它发布的数据,用于非洲的科研和教学项目。

3 世界数据中心和科学

3.1 日-地物理长周期观测数据

许多日-地物理研究是由需要大批量、长期观测数据集的系统研究构成,对这类工作,WDC的归档数据必不可少,对特别事件的追溯研究也极为重要,因为需确定观测时的日-地物理条件。1989年Rishbeth等人的一份研究报告发现,从重要杂志选出的论文中,30%以上以某种形式使用了观测资料(包括派生的太阳-地球物理指数)。这些曰-地物理数据相关的实际问题包括带电粒子辐射对卫星装置的影响、太阳质子事件对 空间旅行者的伤害和地磁感应影响,如电力线中的电压骤增和对管道的电解损害。1989年3月13日的强磁暴提供了一个好例证。2.6节中提到的新的在线服务对此类工作非常有用。

WDC数据档案的新用途不断出现,Rishbeth等人(1989)引用意外用途的例子,包括通过大气波探测核爆炸、SN1987a超新星的电离层影响研究及1910年地球穿过哈雷慧星慧尾的磁异常特征的发现。

3.2 长周期日-地物理观测问题

以上例子与日-地环境长周期观测问题有关,已引起美国的注意,虽然这个问题对WDC本身来讲不是主要的问题,但确实影响了他们服务的科学家。因为多种原因,多数是经济原因,维持基本的日-地观测仪器的运行越来越困难,许多关键地点位于发展中国家,数据对他们很少有用,甚至根本无用,无法负担观测站的运行。多年来,一些观测活动已经停止,但停止长期观测的不幸结果要许多年后才可能变得明显。

对未来环境的忧虑可能与对臭氧耗尽所反映的担忧有共同之处。为了发现由自然的或人为的原因引起的日-地环境紊乱,可能找到紧急资金来观测直接受到影响的那部分环境,但除非维持长期观测(如臭氧观测的幸运情况),将无法弥补以往的观测数据,而这些数据在调査中能发挥重要作用。

为了逐渐形成价格意识,并保证只收集有用的数据,出现了科学家应为用于基础研究的数据付款的建议(建议中详细列出了费用并付给主办者)。这个意见表面上可能吸引人,但经验告诉我们,背离WDC机构的管理要旨太远,对科学家的影响将是妨碍研究进入已建好的道路,妨碍对数据富于相象力的和创新的利用。对长期观测的数据,要通过数据短期用途来证明每项观测活动的正确性将是非常有害的,不论对观测活动还是对数据归档都是这样。

3.3 世界数据中心和全球变化

ICSU世界数据中心专门委员会注意到人们对环境问题不断增长的关注,在WDC系统,特别在一些新的中心已有所反应。在日-地物理领域,有几个自然的和人为的影响可能有严重的后果,虽然这些影响要经过几十年甚至超过一个世纪才能显露出来。例如:

  • 太阳周期的大的变化,如过去三个世纪经历的情况;

  • 地磁场的逐渐衰弱,可能预示着接近一次地磁反转,这将对地球的环境产生 巨大影响;

  • 电力线辐射引起的磁层电磁污染和甚低频(VLF)无线电发射机对磁层粒子 密度的影响。

  • 预测日-地环境未来所关心的问题是困难的,未来的问题可能包括由于火箭发射、高空飞行的飞行器、工厂(如发电厂)和自然因素(如火山爆发)对高层大气的污染。有人认为导致“温室效应”的二氧化碳等的增加也可能影响高层大气,实际上是令其变冷,人们可能相信新的问题将不断地出现,由WDC机构存档的数据对研究这些问题是有价值的。

4 未来的冋题

总的说来,WDC系统一直能够维护在1.3节中所列原则,并随当前的实际情况进行修订,如为逐渐适应新技术(2.4节)而对数据交换的政策(2.3节)所作的修订。但正如在这篇文章中所表述的,系统面临许多问题,一些是老的,一些是新的,主要包括:

(1) 由现代仪器从地面和空间获取的数据全集;

(2) 新技术带来了财源、培训和设备逐渐过时等问题,但也提供了巨大的机遇;

(3) 市场社会要求证明数据收集、存档的投资的合理性,当然这是必须做的工作,但长期活动的真正价值并不包含在人们惯于采用的短期考虑之中;

(4) 一些类型的地球物理和日-地数据(有时也涉及保密)显示出商业价值,相关的问题是怎样在不损害数据的科学利用的前提下认识其商业潜力;

(5) 怎样维持日-地数据的长期获取和存档,经常通过能引起公众注目的“科学壮举”来竞争财源。

世界数据中心系统是健康的、有活力的,40多个WDC机构遍布全球,最成功的中心是那些在本国有强大的使用者群体,同时还有对所管理的数据有职业性热情的活跃的专职科学家。从90年代到2000年后,系统会不断地改善装备以更好地为科学社会服务。

[张金东译  蒋宏耀校]