跳转至

使用模拟数据训练深度学习模型

原文链接：https://www.nv5geospatialsoftware.com/Learn/Blogs/Blog-Details/using-simulated-data-to-train-deep-learning-models

8335 为本文评分：

2.2

使用模拟数据训练深度学习模型

David Starbuck 2023年8月29日，星期二

我和我的同事 Atle Borsholm 有幸参加了罗切斯特理工学院于2022年10月主办的DIRSIG基础培训。DIRSIG是RIT开发的一项开创性技术，为生成合成遥感数据提供了创新的解决方案。我们的目标是利用DIRSIG创建深度学习模型的训练数据，这些模型可以对真实图像进行分类。使用合成创建的对象来构建深度学习模型，可以大幅节省获取用于标注和模型训练的影像的成本。这种方法为检测缺乏特定训练数据的特征（例如缺少对象型号或类型）提供了可能性。

在培训期间，我们还有幸与洛克希德·马丁公司的Emily Travinsky进行了交流，她分享了其团队在这个课题上的实验见解。相关实验的论文可通过以下链接查阅：https://ieeexplore.ieee.org/document/9174596

首次复现实验

我们尝试进行一项类似于洛克希德·马丁研究的测试，但存在以下一些不同之处：

  1. 使用DIRSIG的Chipmaker插件生成了正样本图像块（包含目标对象的图像）。
  2. 在生成图像块时，使用了DIRSIG的简单大气模型，而非MODTRAN。
  3. 使用真实的图像块作为负样本（不包含目标对象的图像）。
  4. 在模型生成过程中，我们使用了一个未用作训练或验证数据的真实场景来测试训练好的深度学习模型。

我们用于测试的图像是一幅机场的WorldView-3全色图像。我们创建了一个模型来识别以下对象：图-160、图-95、其他类型飞机和直升机。我们使用图-160和图-95飞机的CAD模型来生成包含这些飞机的图像切片。利用DIRSIG自带的B737、Badger和直升机模型，我们生成了包含这些飞机类型的图像切片。另一幅WorldView图像被用来生成不含任何飞机的图像切片。我们使用这些切片来生成一个多类Resnet-50模型，并利用该模型对测试图像中的图像块进行分类。结果如下所示：

类别 ap tp fp fn 召回率 精确率 F1分数
图-160 9 8 2 1 0.889 0.800 0.842
图-95 15 14 2 1 0.933 0.875 0.903
其他飞机 23 10 0 13 0.435 1.000 0.606
直升机 19 17 0 2 0.895 1.000 0.944
总计 66 49 4 17 0.742 0.925 0.824

ap - 实际正样本总数 tp – 真正例 fp – 假正例 fn – 假反例 召回率 – 正确识别的正样本与实际正样本总数之比 精确率 - 真正例与预测正样本总数之比（tp/(tp+fp)） F1 – 召回率和精确率的调和平均数 = 2 / (1/召回率 + 1/精确率)

尽管我们使用合成数据进行训练，但除了“其他飞机”类别外，所有对象的准确率都超过了84%。用于生成“其他飞机”图像切片的CAD模型很可能与测试图像中的飞机匹配度不够高。

第二次复现实验

为了在本博文中展示更多视觉效果，我们使用NAIP数据进行了简化版的复现实验。本次复现与第一次复现的主要区别如下：

  1. 仅使用DIRSIG自带的B737 CAD模型来生成正样本图像切片。
  2. 分类仅判断图像块中是否存在飞机。
  3. 使用DIRSIG生成空白的负样本图像切片。
  4. 使用 ENVI深度学习模块 来训练模型并执行分类。

下图展示了B737 CAD模型的截图以及DIRSIG根据该模型生成的图像切片示例：

我们使用约500个正样本图像切片和约100个负样本图像切片训练了一个模型，利用ENVI深度学习模块的“网格”模型进行训练。这个“网格”模型是ENVI深度学习下一个版本中将包含的新功能。“网格”模型允许用户生成Resnet50或Resnet101模型，并会输出一个包含正样本图像块的网格。

我们使用了一幅丹佛国际机场的NAIP图像来测试生成的模型。图像示例如下：

我们对DIA场景运行了网格分类，输出网格如下图所示：

我们对结果中一个包含13x21个图像块（共273个）的区域进行了更仔细的检查。

在下图中，真正例用绿色高亮显示，真反例用蓝色高亮显示，假正例用橙色高亮显示，假反例用红色高亮显示。

在该区域中，有59个真正例、9个假正例、1个假反例和204个真反例。准确率约为96.3%。对于在真实图像上使用合成数据构建的模型而言，这是一个非常高的准确率。

当缺乏足够的代表性训练数据时，使用合成数据构建模型进行目标检测具有很高的价值。无论您是研究人员、学生还是技术爱好者，探索合成遥感数据的世界都将是一段令人兴奋的旅程。

点击此处了解更多关于DIRSIG的信息，并在此处获取关于 ENVI深度学习 的更详细信息。

发现更多

学生、研究人员和教师

学术解决方案

使用ENVI和IDL进行研究，并为学生成功的职业生涯做好准备。

了解更多

值得信赖的答案

ENVI 软件

处理和分所有类型的图像和数据。

了解更多

自动化分析

ENVI 深度学习

通过ENVI深度学习获得更快、更准确的结果。

了解更多

多光谱与高光谱成像 – 提升植被制图精度 多光谱与高光谱成像 – 提升植被制图精度 ENVI 与 ENVI Connect：变革性的组合