一种光学和SAR图像融合实时系统设计

一种光学和SAR图像融合实时系统设计

张雨轮

西安电子工程研究所，西安，710100

摘要：针对某光电和雷达图像实时融合系统，对融合系统设计进行了概述，并对系统的硬件架构和实时融合处理流程进行了介绍。最后给出了实时光电雷达融合图像的处理结果。

关键词：光电雷达融合 SAR 可见光/红外

A real-time system design for optical and SAR image fusion

Zhang Yulun

Xi’an Electronic Engineering Research Institute，Xi’an China 710100

Abstract:For a real-time fusion system of optoelectronic and radar images, the design of the fusion system is summarized, and the hardware architecture and real-time fusion processing process of the system are introduced. Finally, the processing results of the real-time photoelectric radar fusion image are presented

Keywords: photoelectric radar fusion SAR visible light/infrared

1引言

SAR图像与光电传感器图像的融合是将相同地区，在不同视角/不同时刻的两种传感器获得的图像进行融合处理，通过特定的融合算法实现特征互补和特征冗余，从而获得比单个传感器更为丰富/更为客观的特征，提高目标识别/目标分类和目标提取和解译的能力。

SAR雷达使用微波成像，具有全天时全天候的特点，不受雨雾，可见光照度的影响，具有一定的穿透能力，能够有效探测各类伪装下的目标。含有光谱信息的可见光图像可以有效区分地物的不同类型，具有良好的解译效果。红外遥感能够对地表热辐射目标十分敏感，对一些特定目标的检测效率极高。利用图像融合技术，能够对这3类图像数据充分利用，完成多源图像数据信息的融合。

2融合系统概述

图像融合处理中，离线系统往往对相同地区，在不同视角/不同时刻获得的异源数据图像进行融合。目前国内鲜有关于实时光学雷达图像融合的文献。在实时系统中，由于光学和雷达传感器安装在同一个载荷平台内，不涉及图像的缩放，不同视场下图像的正射变换等，可以直接进行光学和雷达图像相同视场下相同分辨率的异源图像实时融合。

图像融合的关键，是在融合前进行图像的配准。配准分为粗配准和精配准2个步骤。

实时图像融合由于光学、雷达传感器同时工作，可采用基于时间一致性原则的配准，或者基于经纬度一致的地理坐标图像配准。两种方法的目的都是进行光学图像和雷达图像的粗配准。前者基于时间信息，优点是方法简单，缺点是可信性较差，完全没有利用任何图像信息；后者基于图像经纬度信息进行配准，配准精度依赖光学图像和雷达图像的定位精度，但是可信性可靠性较高。随着国内惯导精度的不断提高，以及光电雷达同载荷平台下误差一致性等因素，完全满足采用基于经纬度的地理坐标图像粗配准。

图像的精配准和图像融合算法，由西南交通大学叶沅鑫团队开发完成。采用基于结构相似性的多模态匹配框架进行图像精配准，能够解决存在纹理差异，灰度差异的图像配准和融合，采用图像的几何结构信息进行配准融合。

3总体硬件框架

系统设计要求能够实时完成可见光SAR图像融合，或红外SAR图像融合。图像融合处理软件要求为机载实时处理软件，由具备低功耗高性能数字信号处理能力和高速数据传输能力的GPU或DSP，以及Flash芯片和DDR3等其他辅助电路组成融合处理板。

融合处理板能够实时完成SAR图像和光学图像的接收，高精度配准，异源图像融合，融合图像的JPG压缩，以及融合图像的输出。

系统接口设计上，融合处理板与光电雷达系统的数据分发板进行通讯。

融合处理板采用FPGA+双DSP设计，分别为压缩及数据传输用的DSP1，进行融合算法的DSP2，以及接收光电图像的FPGA。DSP1与数据分发板的通信方式为SRIO，与FPGA的通讯方式也为SRIO，与DSP2的通信方式为PCIE。DSP1的GPIO用于数据发送或接收完成中断。数据分发板和图像融合板的系统设计框图如下所示：

图1 光学雷达图像融合系统硬件框架图

4融合流程

根据合成孔径雷达成像原理，SAR成像通过大带宽实现距离向高分辨，通过合成孔径原理，利用载机平台的运动实现方位高分辨。由于雷达成像的波束指向限制，由雷达发起融合节拍，并在图像配准时以雷达图像为参考。

限于融合处理板的运算能力，采用等分辨率像素点融合。由数据分发板同时启动合成孔径雷达成像和光电可见光/红外成像，由于视轴一致性，两种传感器数据能够保证粗配准；图像融合算法进行图像的精配准和匹配，从而完成融合前的准备工作。

雷达图像的距离点数为8192，地距分辨率为0.2m，SAR图像的出图周期为18.4秒。假设平台运动速度为50m/s，图像幅宽大于900米。光学图像在5km的视场下，要达到0.2米分辨率，必然要提高焦距并牺牲视场角，单张光学图像很难达到如此大的幅宽。因此，设计上采用1张SAR图像同时与2~4张光学图像同时融合的策略。不仅能提高融合场景的宽度，充分利用实时处理器的运算资源。具体融合处理流程如下：

如图1所示。融合板的DSP1为控制用DSP。该DSP负责从数据分发板的DSP接收原始SAR图像，融合板的FPGA从数据分发板FPGA接收光电图像。如果SAR图像的宽度大于4096点，则需要将SAR图像进行分割，将分割后的SAR图像与缓存中的光电图像，计算中心经纬度的距离，选取一张距离最小的光电图像，然后将该SAR图像数据和选取的光电图像数据发送给DSP2进行融合，DSP1等待接收融合后的数据。DSP1重复此过程，直到所有分割的SAR子图全部融合完毕后再将融合的图像进行拼接，再进行JPG图像压缩，最后DSP1将拼接的融合压缩图像发送给数据分发板的DSP，再经数据分发板FPGA转发到融合图像输出接口，完成一张SAR图像与经纬度最近的光学图像的融合和下传。融合处理板流程设计如下所示：

图2 融合处理板流程设计

5实测数据

下面为两组飞行试验实时获取的SAR图像和融合图像。其中雷达工作在0.2m条带模式，作用距离5km，PRT=250us，距离点数为8192。同时光电传感器工作在可见光/红外模式，进行同视场的SAR可见光图像融合，SAR红外图像融合。从右图可以看到，融合图像中光电特征和雷达特征均明显保留，能够大大提高侦查监视目标识别概率。

图3 SAR图像及SAR可见光融合图像

图4 SAR图像及SAR红外融合图像

结束语

本文介绍了一种光学和SAR图像融合实时系统设计，包括硬件系统框架设计，软件数据流设计，并给出了实时飞行得到的SAR可见光融合图像，SAR红外融合图像。融合图像效果良好，现已达到工程应用级别。

参考文献：

1. 叶沅鑫, 郝思媛，曹云刚. 基于几何结构属性的光学和SAR影像自动配准. 红外和毫米学报（SCI），2017,36(6):720-726

作者简介

张雨轮 男 1987 年生，硕士，西安电子工程研究所.研究方向为雷达总体技术.