人工智能(AI)如何改进开源 GIS

人工智能(AI)如何改进开源 GIS


发布日期: 2024-01-12 更新日期: 2024-01-12 编辑:xuzhiping 浏览次数: 330

标签:

摘要: 越来越多的公司开始将地理空间数据用于其机器学习应用程序,以从生活模式中获取见解。为了更好地理解他们是如何做到这一点的,本文将讨论地理空间人工智能 (GeoAI) 的确切含义。介绍构成(地理空间)机器学习和深度学习工作流程一部分的任务、执行这些任务的先决条件,...

人工智能如何改进开源 GIS

越来越多的公司开始将地理空间数据用于其机器学习应用程序,以从生活模式中获取见解。为了更好地理解他们是如何做到这一点的,本文将讨论地理空间人工智能 (GeoAI) 的确切含义。介绍构成(地理空间)机器学习和深度学习工作流程一部分的任务、执行这些任务的先决条件,并概述开源 GIS 社区中将机器学习和深度学习集成到其中的当前工具和计划,以及 人工智能和 GIS 的复杂问题。

人工智能是使机器变得智能的科学和工程,以便它们能够像人类一样完成任务。虽然真正的人工智能还不存在,但人工智能子领域正在迅速发展,并且已经改变了解人们如何与环境互动,以及如何根据在数据中发现模式并进行预测的方式,例如预测交通模式或住房价格,或简单地对大量图像数据进行分类。

机器学习和深度学习:定义和工作流程

机器学习和深度学习

为了更好地理解 GeoAI 工具的工作原理,有必要解释什么是机器学习和深度学习,并描述两者的工作流程。虽然这两个术语经常互换使用,但它们并不是一回事。

机器学习是人工智能的一个子领域,它涉及的研究领域使计算机能够在没有明确编程的情况下进行学习。深度学习是机器学习的一个子领域,它使用深度或多层人工神经网络,这是一种大致模拟大脑神经元运作方式的软件。

在回顾本文后面介绍的工具时,机器学习和深度学习之间的区别很重要。

接下来,我们将讨论两者的工作流程,以了解这两个子领域在实践中如何运作。如上所述,机器学习的总体目的是发现数据集中的模式并使用这些模式进行预测,以回答业务问题、检测/分析趋势并解决问题。正如本文所述,每家公司的机器工作流程都不同,但三大科技巨头(谷歌、亚马逊和微软)使用典型的机器学习工作流程的三个步骤,包括数据处理、建模和部署。

通用的深度学习工作流程,比机器学习模型更细粒度,但包含大致相同的步骤。正如我们将在本文后面看到的,一些地理空间机器学习工具专注于此工作流程的单独步骤(例如创建训练数据),而其他工具则部署现有的预训练模型: 这是作为地理空间机器学习工具唯一需要做的事情。用户选择一个在输入数据集上运行的模型。这种区别对于理解地理空间人工智能新工具如何发展以及发展速度有多快非常重要。

执行地理空间机器学习和深度学习的附加要求

为了了解为什么创建用于地理空间机器学习和深度学习的某些工具以及它们在上面讨论的整体工作流程中的功能是什么,我们现在将重点关注执行地理空间 ML(Machine learning)/DL(Deep learning) 的先决条件:编程技能、数据和 IT 基础设施。

机器学习如今如此流行的原因之一是硬件的进步,尤其是图形处理单元(GPU),它比更传统的中央处理单元(CPU) 提供了巨大的计算速度。除了快速渲染图形之外,GPU 同样擅长训练复杂的机器学习算法。

这种情况发生在云中,这解释了为什么越来越多的公司在这里开展机器学习项目,因此云处理成本正在下降。目前,许多地理空间公司正在提供 API 与插件相结合,以访问他们选择的 GIS 应用程序中的数据和/或 ML 功能。

Python 通常被认为是机器学习的常用编程语言,因为它具有ML 框架和库,因此可以更快地开发 ML 产品。它绝不是 ML 的唯一语言:提供 ML 功能的其他语言包括 R、Scala、Julia 和 Java。许多地理空间人工智能工具为那些没有编程技能的人提供无代码功能。尽管能够使用此类工具,但有关 ML/DL 的领域知识仍然是一个额外要求。

最后,还有数据要求。机器学习和深度学习都依赖于(大量)数据。首先,训练模型,然后部署预训练的模型。目前有一些工具可用于训练地理空间 ML 数据,而最近的一个 FOSS4G 项目重点关注在标记/训练数据时人类与算法之间的交互。

空间数据分析的机器学习应用

在介绍了机器学习和深度学习的“原因”和“方式”之后,是时候关注可用于空间数据分析的机器学习工具了。尽管机器学习领域取得了许多进步,催生了新的工具和应用程序,但人们很容易忘记,有许多熟悉的空间数据分析工具使用机器学习而不使用该标签。我们可以区分三类工具:空间数据的回归、分类和聚类,多种地理空间机器学习工具使用一系列地理空间图像以及激光雷达来进行分类。

  • 回归工具:空间数据中的回归分析用于插值, 例如用于插值单变量数据的经验贝叶斯克里金法(EBK)。 例如,在“灾害风险”或“距公共设施的距离”等输入数据的支持下进行房价插值。 其他熟悉的空间数据算法包括普通最小二乘 (OLS) 回归和地理加权回归 (GWR)。 除了点插值之外,还可以区分区域插值, 即根据周围环境将一组较大的多边形返回为一组较小的多边形。

  • 分类工具:例如,使用遥感图像对土地覆盖进行分类。

  • 聚类工具:包括热点分析以显示高值和低值集中的位置, 以及基于密度的聚类, 专门用于根据密度对多个点进行分组。 不仅矢量数据可以聚类, 使用图像分割的光栅图像也可以聚类。 时空模式挖掘同时对空间和时间数据进行聚类, 表示为 3D 立方体, 这用于分析由于面积随时间增加、减少或恒定而出现的热点和冷点。

新的 GeoAI 工具和应用程序

为了完成地理空间机器和深度学习工具的概述,我们将概述包含任何形式的 AI/ML/DL 特定 QGIS 插件和 FOSS4G 项目。

用于深度学习和机器学习的 QGIS 插件

Mapflow QGIS 插件从卫星图像中提取现实世界的对象。该分类工具提供多种人工智能制图模型:除了土地覆盖之外,它还提供建筑分类工具以及建筑工地道路、农田和森林植被的人工智能模型。该插件可免费提取面积不超过 90 平方公里的真实世界对象。有趣的是,它运行预先训练的模型,返回带有即用对象的 QGIS 图层。同样,buildSEG QGIS 插件是另一个分类工具,它(仅)提供从光栅图像中提取建筑物的功能。

  • 为深度学习生成训练数据 QGIS 插件为缺乏编程技能, 来执行此任务的遥感专家生成深度学习训练数据集。 因此,它填补了更大的深度学习工作流程中的空白。

  • 同样,EnMap-Box QGIS 插件处理成像光谱数据, 特别是来自即将推出的 EnMap 传感器的数据。 该插件可以将机器学习算法集成到用户的图像分类和回归中, 包括随机森林、支持向量机等。

  • 最后,聚类点 QGIS 插件根据点之间的相互距离或基于属性的补充信息对点进行聚类。 该工具仅适用于矢量数据, 而不是栅格数据。

FOSS4G 项目和应用

  • OTBTF是 Orfeo ToolBox 的远程模块, 可利用遥感图像进行深度学习。 它创建于 2018 年, 旨在为各种面向栅格的深度学习应用程序提供通用框架。 几年后,它已被用于广泛的应用, 例如国家尺度的土地覆盖制图、超分辨率、光学图像云去除等。

  • 使用 AI/ML 的开源点云语义分割, 其中新的 AI/ML 支持的模型优于为点云内的点分配语义标签的先前方法, 能够学习新特征并适应数据的内在可变性。 推动这一趋势的开源生态系统包括 US3D 和 DALES 等基准数据集、PyTorch 和 Tensorflow 等机器学习框架, 以及 PDAL、Open3D 和 PyG 等关键库。

  • KartAI 是挪威的一个开放式人工智能生活实验室, 属于机器学习分类工具。 这个公共部门的创新项目旨在开发人工智能方法来检测地籍或建筑地图数据集中未找到的建筑物。 该项目努力公开发布训练数据集, 以及不同模型和开发方法的数据结果, 以确保其他人工智能模型更容易获得高分辨率和高精度数据, 以训练和应用数据稀缺的模型。

  • 具有实时模型预测功能的人在环 (HITL) ML是一种解决方案, 它结合了GroundWork(一个地理空间注释平台)和Raster Vision(一个开源深度学习平台), 以提供人在环主动工作流程。 该解决方案的重点是获取和标记地理空间数据以训练机器学习模型, 这是一个耗时且昂贵的过程。 它加快了标记-培训-标记周期, 并使人工智能和人类 GIS 数据标记者之间的连接变得简单、无缝。

最后,该活动还展示了一种新工具,用于使用 AI生成 3D 几何形状,用于布宜诺斯艾利斯的体积预测,生成城市地块的 3D 图形。

以上内容讨论了地理空间机器学习和深度学习如何帮助公司从生活模式中获取洞察并做出预测。描述了机器学习和深度学习工作流程中的步骤,以更好地理解当前地理空间 ML/DL 工具执行的任务。为了执行地理空间 ML/DL,地理空间分析师需要数据、硬件基础设施、领域知识和编程技能。

然而,无代码工具甚至整个无代码基础设施的创建可以帮助那些没有编程技能的人执行地理空间 ML/DL 任务。查看可用的工具,许多熟悉的空间数据分析工具都使用机器学习,但没有使用该名称。这些工具被称为空间聚类、分类和回归工具。查看可用的 QGIS 插件,我们看到许多目标图像分类,这可以通过市场上更多和更便宜的传感器提供卫星图像的大数据集来解释,并结合更便宜的云基础设施来托管该数据集数据。

从工作流程的角度来看,上述许多工具仅处理较大的 ML/DL 工作流程的单个活动,例如训练数据集。很可能会发布更多类似 MapFlow QGIS 插件的工具,允许用户上传数据、运行预先训练的 AI 模型并将即用型 GIS 数据返回给用户。这些工具是卫星图像公司在其数据之上构建服务并通过 API 提供服务的逻辑结果。然而这并不意味着地理空间 ML/DL 将成为此类公司的领域,远非如此。另一方面,没有代码工具(有时作为在线协作工具提供)让多个用户使用训练数据来工作分为更小的区域的遥感图像数据。

人工智能和 GIS 的复杂问题

人工智能和 GIS 的复杂问题

在 GIS 出现之前,只有纸质地图和描图纸。GIS 科学技术在 60 多年前与数字计算同时出现。GIS 是由一群来自不同学科的聪明才智发明并推动的,其中包括飞行员、测量员、建筑师、地理学家、制图师、数学家,当然还有软件开发人员。

20世纪60年代初期,被誉为 “GIS之父” 的Roger Tomlinson 博士构想通过新兴计算机技术将土地利用测绘相结合,并发起、规划和指导了加拿大地理信息系统(CGIS)的开发。这是世界上第一个计算机化的国家级地理信息系统。

第一个计算机化的国家级地理信息系统

芝加哥建筑师 Howard T. Fisher 独立地看到了华盛顿大学 Edgar Horwood 小组制作的城市规划和土木工程图形计算机地图。他构思了一种计算机绘图软件程序 SYMAP(协同绘图),使用行式打印机生成一致性地图、邻近地图和轮廓图。

借助建立哈佛计算机图形学实验室的福特基金会种子资金,Fisher 和 Betty Benson(程序员)于 1966 年完成了 SYMAP 的发布。随后该实验室开发了其他软件程序,包括 SYMVU、GRID、CALFORM 和 POLYVRT。有趣的是,该实验室的运营模式与当今开源社区的运作方式非常相似。它以付费或免费的方式分发软件和后来的数据,以鼓励学术实验和合作。

Jack Dangermond 于 1969 年创立了环境系统与研究所 (ESRI),并于 1968 年和 1969 年(即他创立 ESRI 的那一年)担任该实验室的研究助理。1975 年,该实验室启动了 Odyssey 项目,旨在在单一系统中生成具有空间分析功能的基于矢量 GIS。Odyssey 的关键技术专家 Scott Morehouse 在 80 年代初加入 ESRI,开发了 Arc/Info 软件平台,该软件平台后来成为行业领先的 GIS 平台。

GIS 的这些早期阶段发生在软件开发和计算机平台还处于起步阶段的时期。没有标准的负担得起的硬件平台。数据存储有限且昂贵,显示器的像素分辨率和颜色范围受到限制。没有用于捕获或打印和绘制地图的标准设备,但新设备迅速爆炸。

因此,GIS 开发人员必须花费大量的开发精力来编写代码来使用输入和显示外围设备。计算机之间没有标准的通信方式,互联网直到 1983 年才出现。供公众使用的 Web 浏览器源代码直到 1993 年才可用。

当地图在纸上、数据和程序存储在打孔卡和计算机磁带上时,将数字矢量地图与属性数据链接起来是一个新颖的概念。在此期间,ESRI 正在巩固在专有 .SHP 文件(发音为 shape)中存储空间(地理)数据,以及在 .DBF 文件中存储相关属性数据的概念。这个概念很扎实,计算机技术处理和存储能力的进步使 GIS 的想法在 80 年代初变得可行,创建了一个产业,并将 ESRI 变成了一个私营庞然大物。

不幸的是,早期的创新时期也是一个竞争激烈的时期,也是一个对专有数据格式不明智的承诺的时期,因此新兴行业与自身和更大的 IT 世界隔离开来。

RDBMS 数据库革命

在 GIS 行业增长的同时,IT 世界的其他领域也在不断发展,但方向恰恰相反。数据库科学和软件技术正在显着改进,特别是在企业 IT 网络环境中。IBM 和 Oracle 等公司成功开发了新的关系模型,其中数据库的模式和数据库的逻辑组织可以使用通信网络与其物理信息存储设备分离。

RDBMS (关系数据库管理系统)成为随时随地存储所有内容的科学,并且可以使用通用 SQL 查询和编程语言进行分析的关系数据库成为常态。

RDBMS 数据库革命

这种 RDBMS 方法打开了应用程序爆炸式增长的大门,彻底改变了全球 IT 业务的运作方式。德国的 SAP 和美国的 IBM 等公司开发的应用程序使企业能够提高效率、简化运营并提高生产力,使这些 RDBMS 系统变得不可或缺,成为 IT 部门的基石。

IT 驱动的转变开始了。引入企业的每个新应用程序都必须基于 RDBMS 概念,以便得到 IT 部门严格参数的批准,从而与组织的其他部分兼容。

然而,RDBMS 应用程序又大又昂贵,如果 GIS 公司采用,则需要重新设计整个平台。ESRI 是 GIS 市场的领导者,当时他们自己的和其他专有的 GIS 数据格式正在成为不同垂直市场的标准。这种不可协商的差异将 GIS 实施与世界各地组织中的企业级 IT 部门隔离开来。

最初这并不是 GIS 发展的主要障碍。大多数 GIS 用户都是空间科学家,他们进行的是精品规模的项目,不受主流 IT 部门的关注。ESRI 采取的领导作用是在学院和大学中推广新科学的一项绝妙战略,它足以弥补 IT 部门思想份额的损失。

Jack Dangermond 倡导学术界的研发发展,并向许多学术地理学、大地测量学、测绘和土地测量机构捐赠了 ArcGIS 软件。这造就了几代专业人士,他们在毕业时只知道一种 GIS 方法,即 ESRI 方法。

20 世纪 90 年代初,情况发生了变化,大型电力、水务、天然气、电信公司和市政府的 IT 部门必须管理和发展覆盖广大地区的大型有形资产网络,他们正在寻求在其运营中添加地理组成部分。当时领先的 GIS 过于专有,难以扩展以满足他们的需求。加拿大 GeoVision 的创始人 Doug Seaborne 开发并推出了一个企业 GIS 解决方案,该解决方案使用嵌入式 Oracle RDBMS 作为数据库引擎。

这种新的 GIS 模型将地理和属性数据存储在可通过 SQL 访问的安全企业环境中,得到了包括 ESRI 在内的其他公司的效仿。最后,企业可以将其盈利且重要的数据库与 GIS 关联起来,证明地理组件可以成为提高企业日常运营效率的宝贵工具。

Web 和开放 GIS 标准

Web 的爆炸性增长以及企业 GIS 在工业和政府中的成功,要求 GIS 行业基于明确定义的开放标准变得更加开放和互操作。政府机构、行业和学术界鼓励成立了一个名为开放地理空间联盟 (OGC) 的非营利组织。OGC成立于1994年,是一个国际自愿共识标准组织,涉及地理空间内容和基于位置的服务、传感器网络和物联网、GIS数据处理和数据共享。

网络和开放地理空间标准再次改变了一切。它们催生了新一波最终用户、基于网络的免费 G​​IS 应用程序和数据库,将 GIS 带给世界上任何拥有 PC 或移动电话的人。

Google 地图、Google 地球、街景提供了曾经难以想象的大量准确信息,用于组织、标记一切,以及查找和导航到我们世界的所有自然特征和人类基础设施。每个人都成为了 GIS 用户。这些基础工具的提供者开始构建庞大的大数据库,其中包含丰富的信息,可供挖掘以获取商业和科学利益。

现代革命

2023 年伊始,各大头条都在报道 OpenAI 和 ChatGPT 的潜在优势和威胁。我们现在都可以在手机上使用简单的语言进行交互并熟悉人工智能应用程序。每一代新的人工智能平台都比上一代更强大。

让 ESRI 作为最终将 GIS 集成到主流 IT 的盟友是这一努力成功的关键。随着世界各地数十万 ArcGIS 用户准备将地理组件授权并启用到各自的 IT 组织中,世界将成为一个更好管理的地方。

GIS 数据经过独特设计,可以以数百甚至数千种不同的方式进行分析和渲染,而人工智能将在未来几年成为寻找新方法的强大盟友。

相关推荐

关注公众号
获取免费资源

随机推荐


Copyright © Since 2014. 开源地理空间基金会中文分会 吉ICP备05002032号

Powered by TorCMS

OSGeo 中国中心 邮件列表

问题讨论 : 要订阅或者退订列表,请点击 订阅

发言 : 请写信给: osgeo-china@lists.osgeo.org