航空仪表图像自动监测系统研究

航空仪表图像自动监测系统研究

刘海珍 

航空工业太原航空仪表有限公司电子系统研究所

摘要：近年来，液晶显示和触屏技术促进了图形、图像显示控制系统的迅速发展。由计算机显示和仪表技术相结合的虚拟仪表，因其具有外表美观、操控灵活、空问利用率高等优点，广泛应用于航空航天、交通设备。和医疗仪器等多个领域。航空虚拟仪表关联了大量的机载设备，在其开发和生产过程中，涉及大量的测试环节。测试过程需要人工对状态参数显示界面进行观察、记录和判断，劳动强度大、效率低，极易导致人眼疲劳和误判。因此，本文利用视频采集相关技术，结合图像处理方法，提出并设计了针对座舱虚拟仪表图像的监测系统，以降低人工值守和判断的劳动强度，提高系统自动化测试的效率。

关键词：航空仪表图像；自动监测；系统研究

1、系统总体设计

座舱仪表图自动监测系统以通用计算机为硬件平台，结合视频采集技术，以图像处理算法设计为重点。自动监测系统的总体框架如图1所示。

图1监测系统总体框架及流程

系统架构采用分层化设计模式，主要分为3个层次：用户交互层、功能控制与参数配置层、数据处理层。用户交互层为系统最顶层，是直接显示信息和捕获用户操作的模块，主要包含信息显示区域、按钮控件和菜单栏等工具选项。功能控制与参数配置层实现各项功能的启动控制和初始化参数的配置，主要包括视频显示及播放的控制、输入端口的选择、监测中各子功能的开关控制等。数据处理模块是监测系统的核心处理部分，按数据流程分别包括视频获取、变化检测、仪表处理和存档管理等模块。

自动监测系统的数据源于仪表屏中的屏幕图像。图像获取模块支持工业相机拍摄仪表屏幕、专业采集卡从屏幕的视频通用输出口采集视频、网络屏幕共享等多种方式获取屏幕图像。本文利用视频采集卡直接采集屏幕图像。对获取到的每帧图像，首先进行图像的滤波和灰度化等预处理，以消除图像采集过程中产生的噪声，进而利用运动检测算法实现对图像动态检测，从而获取图像变化区域。为提高算法实时性，仅对变化区域调用仪表的检测和识别算法，对检测和识别结果生成仪表特征参数描述符，并记录、重构和保存这些特征参数，最终归档保存到数据中心。

2、关键算法的设计

座舱仪表屏幕以图形化、虚拟化直观显示飞行器各项状态参数进行¨。。虚拟仪表具有线条清晰直观、结构固定、色彩灵活搭配、符合人体工学等特点。虚拟仪表图既能直观形象地展现飞行器的状态，又能够醒目地实现故障预报、异常报警等功能，还可以表达复杂而多样的含义。因而，检测和识别座舱仪表所示的状态参数是自动监测系统的主要内容。座舱仪表屏幕包括虚拟仪表图和部分字符读数值，其中仪表图最为显著。仪表图像在显示过程中，伴随着颜色和指针位置变化，但总体结构不会改变，背景相对简单。针对航空仪表的这些特点，提出了一种以分层金字塔与有效点相结合的搜索方法，以及以双阈值与全匹配相结合作为判别准则的仪表检测算法，快速检测和识别各个仪表图。数据处理主要包括：图像预处理、变化检测、仪表检测、参数识别和仪表特征参数描述等几个关键部分。仪表检测的主要流程如图2所示。

图2仪表检测流程

2．1图像预处理

仪表图像的预处理主要包括：彩色图转成灰度图、变化检测、降噪滤波和二值化分割，最后生成金字塔图像。

2．2单仪表模板检测与匹配

单仪表模板图是指某类的仪表在同一时刻或者同一帧屏幕图像中最多出现一次，同一个仪表图不会多个同时重复出现同一帧图像中。通过对单个虚拟仪表检测过程进行扩展，添加检测结果记录矩阵，利用结果矩阵记录下各个仪表检测的相似度检测结果，通过对相似性检测结果进行比较判别，保留结果最为准确的目标区域。

2．3多仪表模板检测与匹配

与单仪表模板不同，部分仪表可能在座舱屏幕同时出现多个同类型仪表图。比如2个发动机的状态指示仪表同时出现在屏幕上，虽然仪表读数值可能不一样，但是仪表图像完全相同。这类多仪表图的检测可以借助单仪表模板的方法。

2．4仪表属性参数描述

为了便于快速观察和识别座舱屏幕上的仪表参数值，通常图形化的仪表伴有字符型的读数值，而且图形仪表与其对应的读数字符串的位置相对固定。通过仪表模板检测获得仪表所在区域和类型，进而获取刻度值读数的子图像，利用OCR模块识别出读数值。

座舱屏幕中不同仪表的属性各不相同，主要包括固有属性、纹理信息描述、仪表参数描述三大类。固有属性是仪表本身特定的属性，不会发生改变，包含仪表序号、仪表中包含结果参数的数目、仪表结构和尺寸；纹理信息中包含仪表的主要颜色、次要颜色和其闪烁频率；仪表参数信息中包含检测到的目标位置坐标信息和仪表中的结果读数。

自动监测系统对各种不同种类的仪表特征信息按照统一方式进行描述，使其归档信息具备完备性和可扩展性，便于后续信息检索和分析。为了更好地对仪表特征进行描述、简化系统实现过程，仪表中的文字性标题以及多字符信息均通过创建数字映射表的方式实现。

信息记录过程中，首先将当前时间、当前帧数和仪表检测总数按照统一结构组成文件信息头进行记录，进而按照顺序，以节点形式依次记录下所有检测出的仪表特征描述符，最后将记录文件归档到数据中心。

3、实验及结果分析

为了验证上述方案及算法性能，首先基于VS2010开发平台建立软件框架，设计人机交互界面，并利用DirectShow以及外部通用视频接口实现视频采集，同时基于OpenCV库实现仪表检测与识别算法，对检测到的仪表生成仪表特征描述符，并将结果写入XML文件中保存。算法实现过程中，自适应二值化采用3*3区域，金字塔层数设为2层搜索，阈值因子a取经验值为0．53。为了检验算法的时间效率和准确率，对分别编号的11种不同尺寸、不同特征的仪表图像进行匹配检测，每一对图像进行10次计算，取平均值作为运算时间。分别采用基于三通道图像FFT加速匹配、基于灰度图FFT加速匹配以及采用分层金字塔并结合FFT加速匹配3种匹配策略作为对比，经过测试，各方法的检测率均达到100％。

采用单通道灰度图进行匹配时，平均耗时约为70ms；采用分层金字塔搜索，FFT进行相关加速，时间消耗约为30ms；采用本文改进的方法进行测试时，时间平均约为20ms。在保证准确率的情况下，较大程度地减少了耗时，提高了系统的实时性，达到了系统设计要求。

对监测系统的整体测试中，以1280*720分辨率的视频作为数据源进行实时处理。在视频源中仪表的颜色、数据间断发生变化，同时通过外部人为控制仪表的调出和隐藏，通过长时间测试，在利用检测结果重构的图像与视频源对比后，系统的整体处理速度约为8帧／s，准确率达到100％，在系统测试开发过程中，基本能够满足实时监测的需要。

4、结束语

本文针对航空座舱显示屏的虚拟仪表图像的特征，设计了图像自动监测系统的方案，并提出了快速匹配的仪表图检测算法。该航空仪表检测算法能够有效、快速地将液晶显示器中的航空仪表准确定位和识别，同时通过对检测到的仪表进行特征描述，采用统一方式创建、记录，既简化了系统实现过程、利于规范性信息检索，又利于后期扩展补充。监测系统具有友好的操作界面，能够方便地控制视频的采集、仪表的检测以及结果的查看，可以在无人看守下自动对屏幕仪表的状态进行监测记录。

参考文献：

[1]吴健，吴启兵，颜正．战斗机座舱发展与设计展望[c]∥沈阳：第六届中国航空学会青年科技论坛，2014：35—40

[2]毛姬琛，范竹荣．图形识别在航空指示仪表检测中的应用[C]∥西安：2011年航空试验测试技术学术交流会，201l：253—255．

[3]杜栓柱，谭建荣，陆国栋．基于界面构件关联图的软件功能测试技术[J]．计算机研究与发展，2002，39(2)：148—152．