摘要: 虽然遥感并不新鲜，但计算机视觉的最新发展已经改变了该行业，并为工业和保护目的开辟了充足的机会。计算机视觉应用程序使组织能够跟踪森林砍伐、识别废物、监测作物健康、跟踪城市发展、识别有价值的资源并解决无数类似的问题。遥感也面临着一系列挑战。本文确定了图像分类中一...
虽然遥感并不新鲜，但计算机视觉的最新发展已经改变了该行业，并为工业和保护目的开辟了充足的机会。计算机视觉应用程序使组织能够跟踪森林砍伐、识别废物、监测作物健康、跟踪城市发展、识别有价值的资源并解决无数类似的问题。遥感也面临着一系列挑战。本文确定了图像分类中一些最具挑战性的遥感障碍，并展示了如何帮助解决这些障碍，包括：
- 大气校正
- 处理多光谱图像
- 定位卫星图像
- 标记图像
- 构建多光谱图像分类模型
1.大气校正
计算机视觉应用通常包括对物体进行分类，在遥感中也不例外，可能需要跟踪随时间的变化、计算密度和对象大小（图像分割）、识别异常，但问题的核心是对象分类。计算机视觉问题通常始于图像处理，包括数据增强、图像大小调整和标准化等步骤。同样，卫星图像通常需要一种特殊类型的图像处理，称为大气校正。
卫星成像拾取从云层和地球表面反射回的辐射（即大气层顶部或 TOA 反射率），并且光谱反射率可能会受到大气差异的极大影响。大气校正试图消除从大气反射的光，留下表面反射率。
需要考虑的问题
通常情况下，解决方案取决于具体的应用。如果仅进行探索性工作，或者图像来自同一地点和时间，大气校正甚至可能没有帮助。虽然来自全球不同地点的图像可能需要更深入的校正。尝试几种方法并比较差异通常会有所帮助。以下是需要考虑的几个问题：
- 您使用的是不同时期的图像吗？ 需要大气校正。
- 图像来自全球不同地区吗？ 需要大气校正。
- 您正在检测陆地或海洋上的物体吗？ 来自海洋的图像可能会受到空气中水分的严重影响。 一些大气校 正（例如 QUAC）需要场景中有大量变化才能正确应用校正， 并且可能不适用于海洋。 在最近的一篇研究文章中发现， l2gen 和 Sen2cor 在海洋中的表现比 C2RCC、iCOR、Polymer 和 Acolite 差。
- 物体包括植被吗？ 如果是这样， 这取决于分类所需的光谱指数（我们将在稍后详细讨论）以及它们是否对大气校正敏感。
- 模型所需的精度和问题的难度。 有时只需要轻微的大气校正即可提供所需的结果， 更轻的权重校正可以加快处理时间， 这在处理多个光谱或大量图像时至关重要。 一些轻量级修正包括 Acolite 和 DOS1， 否则可尝试使用 Sen2cor、Flaash 或 Maja 等修正方法。
- 使用什么类型的传感器？ 我们可能正在处理多光谱图像、高光谱、超光谱等。 对于多光谱：考虑 Quacas 是一种轻量级解决方案， 与重型校正相比， 它可以同样适用于多光谱图像。 高光谱或超光谱包括受反射率影响的可见光谱和不可见光谱， 需要进行一些修正，并且根据应用， 可能需要更深入的修正。
2.定位卫星图像
对于许多机构而言，定位足够的卫星图像来训练计算机视觉模型或进行分类可能特别具有挑战性。要确定在哪里寻找相关图像，以下是应该考虑的几个问题：
需要多久对给定位置的对象进行分类？
如果不必每天回到同一个位置，可以尝试使用公开的卫星图像，例如 landast 或 Sentinel，可在 Open Access Hub 、Onda Catalog 或其他可用的开源平台之一找到这些图像。一些陆地卫星有 16 天的重复周期，而哨兵 1 和 2 分别有 5 天和 6 天的重复周期。如果更频繁地需要图像，可以考虑向商业卫星公司支付图像费用。对于大多数应用程序来说，无论决定使用哪个平台，都应该坚持使用该平台进行图像分类，因为模型需要在相同大小、分辨率和光谱的图像上进行训练。
应用程序需要什么分辨率？
对于许多应用来说，10 米甚至 20 米的像素分辨率就足够了，并且通常可用于开源卫星图像。可以从商业卫星公司获取更高分辨率的图像，最常见的是 3 米或 5 米分辨率的图像。考虑到与商业卫星公司合作的费用，建议优先评估开源图像可以检测到的内容。首先，分类模型需要的分辨率可能比预期低得多；根据上下文，某些光谱带以及上下文线索可以帮助为模型的分类提供信息。此外，模型可用于识别关注领域，以大大减少哪些领域需要更高分辨率或需要调查。
上表显示 Sentinel-2 MSI 传感器的光谱带和分辨率。
3.处理多光谱图像
与彩色图像包含红色、绿色和蓝色值的方式类似，多光谱图像报告电磁频谱中各种波长的图像值。有些卫星仅报告其中的几个光谱带，而 Sentinel 2 等卫星则报告 13 个不同的波长。单个应用不太可能需要使用每个波长。相反我们建议确定哪些波长非常适合需要分类的物体，对于矿藏，可能需要关注热红外，但如果想要分离土壤和植被，可能需要蓝色。
一旦限制了潜在色带的数量，甚至可以创建所谓的假彩色图像。假彩色图像是不反映红色、绿色和蓝色正常组合的彩色合成图像。最后，回顾当前的科学文献，了解对应用有效的光谱指数。光谱指数旨在区分特定物体。例如，NDVI（归一化植被指数）对于活的绿色植被特别有用。NDVI（和其他光谱指数）不是像我们讨论的假彩色图像那样查看多个波段，而是为每个具有与植被对应的高 NDVI 值的像素返回单个值。一旦确定了适用的光谱，甚至可以为独特的物体开发自己的索引。
上图为 NDVI 图像，较亮的像素表示与植被相关的高值。
上图为假彩色图像，该图像用近红外和短波红外色带替代了通常的 RGB 色带，以突出图像的不同特征。
4.标签
计算机视觉模型需要对象标签来训练和学习对对象进行分类。由于多种原因，使用卫星成像获得准确的标签尤其困难。以下是我们将解决的两个常见标签困难。
- 验证不易区分的对象
- 在大图像中查找“稀有”或不常见的物体
验证对象
多种选项可以帮助降低成本并正确标记图像，有许多用于标记图像的平台，例如 Labelbox、LabelMG 和 Supervise.ly。然而，它们可能会附带平台许可费、咨询费和每小时标签费。如果不需要太多的帮助，我们发现 Mechanical Turk 服务易于使用，与 AWS 平台集成良好，并且比上述平台便宜得多，可以提交带有一组示例的标记作业，并让多人标记相同的图像以确保高精度。
在内部进行标签。当制定预算或处理需要查看多个光谱带（不仅仅是真彩色，即 RGB 图像）的对象时，在内部添加标签可能是有意义的。有时，只能通过在不同光谱波长、假彩色图像或特定光谱指数下查看物体来标记物体。在这种情况下，它最终可能比将其交给并尝试解释标签过程更简单。此外，在构建模型之前，了解哪些频谱和频谱指数可能有用至关重要，因此了解模型中要使用哪些特征可能是至关重要的一步。
寻找稀有或不常见的物体
在进行标签时，可能只对最近发生变化的区域感兴趣。如果是这样就可以找到光谱特征发生显着变化的区域。同时还可以使用光谱特征来识别物体的类型。有些物体对于某些指数或特定波长具有极高或极低的值。处理图像并找到位于物体预期光谱范围内的像素，剩下的是需要手动检查的图像数量要少得多。正如标签部分提到的，物体具有有用的特定光谱以及有助于分离它们的索引。
例如，如前所述，NDVI 通常用于植被分类。当 NDVI 值较低时，像素不太可能代表植被，并且在某些应用中，可以忽略图像中 NDVI 值较低的重要区域。本质上使用光谱特征来识别给定图像我们感兴趣的坐标。然后导出图像进行标记 - 例如 128×128 像素图像，以这些识别的坐标为中心。警告一下，如果过滤过于激进或歪曲了需要分类的图像类型的分布，则过滤掉图像可能会使分类模型产生偏差。
上图显示了过滤掉与之前图像相比没有显着变化的像素的图像。接下来，可以根据感兴趣的对象过滤掉像素。例如，如果寻找植被，海洋中的几乎所有像素（没有棕色像素的区域）可能都会被排除。请注意，以这种方式进行过滤仅用于演示目的。实际上，我们正在过滤特定坐标，以便知道要提取图像的哪些部分进行标记。
5.建立多光谱图像分类模型
在此过程中，已经识别出有用的假彩色图像以及可能有助于分类的索引。我们现在已经完成了标记，该标记将应用于为给定图像创建的任何假彩色图像集，下一个挑战是如何构建适用于多光谱图像的图像分类器。
如果有真彩色图像 (TCI) 或由三种颜色组成的假彩色图像，可基于预先训练的模型进行构建来进行图像分类，例如 Nasnet、ResNet 或 Inception，使用这些图像训练模型，就像使用其他 RGB 图像一样。
在需要多个彩色图像进行分类的情况下，将需要更先进的方法，可以使用集成方法（多个模型）和堆叠模型（多个模型输入到另一个模型中）来合并多个图像以进行最终预测。如果想要合并光谱指数，可以构建预先训练的模型以允许多个输入。在这种情况下，索引将添加到模型的最新层之一中，而不是作为附加通道/颜色添加；允许模型仍然从彩色图像创建高级图像特征，同时在对图像进行分类之前考虑光谱索引值。
在执行这些步骤之前，请确保模型正在学习，然后再向预训练模型添加其他功能或多个层。一旦建立了工作基础模型，小的迭代更改就变得至关重要。只有这样，才能知道架构更改是否有帮助，或者特定索引是否无法提高模型的准确性。当然，一旦达到这一点，请尝试其他相关索引，或者更好地尝试组合（将每个索引作为单独的输入添加到模型中），看看它是否可以提高模型的准确性。请务必尝试各种光谱带和指数以找到最佳解决方案。考虑到选项的多样性，细化模型可能特别具有挑战性，尤其是对于多光谱图像。但是，如果进行迭代更改、测量性能变化并探索输出以了解模型改进。
在本文中，我们回顾了遥感中的几个常见挑战。这远非详尽的清单，虽然关于这些挑战中的每一个都可以说很多，但希望它能为您的遥感之旅提供一些指导和帮助。
