基于国内气象通信系统数据传输流程浅析

(整期优先)网络出版时间:2024-05-08
/ 2

基于国内气象通信系统数据传输流程浅析

普布卓嘎1 次珍1 扎西普赤2

1.西藏自治区气象信息网络中心  西藏拉萨  850000

2.西藏自治区气象大气探测技术与装备保障中心  西藏拉萨 850000

摘要:本文主要对我国气象部门目前针对不同的气象观测数据而采用的几种传输方式和流程进行了分析,文件传输是传统的传输方式,基于RabbitMQ消息中间件的气象标准格式传输方式运行稳定,基于socket通信方式适合数据量达到几Mb甚至几十Mb雷达资料,下发的国家级的数据主要通过卫星广播的方式。

关键词:CTS2.0;RabbitMQ消息中间件;socket通信方式

1引言

我国气象部门在经过多年的发展后,气象观测数据的传输手段已经由电报、传真、电话等的方式进化到高效的网络传输方式。自动化观测设备和信息技术的不断进步,也使气象观测数据传输频次和传输速率有了巨大提升,传输频次越来越高,传输速率越来越大,频次由从前的小时级提升到现在的分钟级,速率也由原来的K级提升到现在的M级乃至G级。因此,传统单一的数据传输方式已经不能满足高效和安全的传输需求。为提高网络传输效率,必须采用多种传输方式,以满足不同的传输需求。目前我国气象部门统一采用的气象资料上行方式有消息传输、文件传输和流传输三种方式,下行的资料主要通过卫星广播的传输方式。每种传输方式都有其不同的运行流程和机制。清楚地理解并掌握其运行流程和运行机制,对于气象数据传输保障和维护,有着重要的意义。

2消息传输

消息中间件有很多种类,功能也不尽相同。经气象部门的不断研究和探索,RabbitMQ消息中间件[1]更加符合气象数据的传输需求。

2.1地面标准化业务消息传输

地面标准化业务消息传输架构如图1所示,包含消息传输客户端、省级消息传输服务端和国家级消息传输服务端三个部分,其中,消息传输客户端部署在各个观测台站,消息传输服务端部署在省级和国家级。观测台站消息传输客户端通过文件接口目录从ISOS软件获取观测数据BUFR格式文件,然后将数据文件封装成消息后上传至省级消息服务器;省级消息服务器上部署快速质控程序和消息转发控制程序,负责将原始消息和质控后的消息上行至国家级。省级接收到消息数据后,由DPC消息解码程序入库到天擎数据库中,通过MUSIC接口提供数据服务;同时由MDOS消息解码程序入库到MDOS中,实现了数据的质量控制。

20151019_国家级地面自动站标准格式数据消息传输流程.png

图1 地面标准化业务传输框架

2.2区域站标准格式传输

框架如图2所示。区域站采集器采集到的数据通常通过GPRS、北斗卫星等单路或多路的方式传到省局中心站。省局中心站配置有消息转发器,负责将中心站生成的消息流数据上传至省级国内气象通信系统2.0(CTS2.0)的2台消息服务器。消息服务器上部署快速质控程序和消息转发控制程序,负责将区域站发来的原始消息和质控后的消息上传至国家级。省级服务器接收到消息数据后,DPC消息解码程序入库到天擎数据库中,通过MUSIC接口向用户提供数据服务;同时由MDOS消息解码程序入库到MDOS中,实现了数据的质量控制。

C:\Users\Administrator\Documents\Tencent Files\1023786872\Image\C2C\4LCZ)WY)DOQWAJJ]G[QV2(A.png

图2区域站标准格式传输框架

2文件传输

采用文件方式传输的气象数据有:高空资料、雷达产品、大气成分资料、土壤水分、雨滴谱资料等。文件数据传输框架如图3所示。测站通过FTP方式,将资料上传至省级国内气象通信系统2.0(CTS2.0)4台文件收发服务器,文件收发服务器收到原始文件数据之后,进行文件名检查、唯一性检查、收集换名等收集处理。处理后的数据传送至国家级并同时传至文件数据快速质控服务器。质控后的数据通过ftp方式将数据传送至国家局和大数据云平台解码入库系统。

文件收发服务器采用的是FTP传输协议进行传输的,此方式存在着很多不足之处,例如传输速率低、丢包率高和传输模式不合理等。

C:\Users\ADMINI~1\AppData\Local\Temp\1642736445(1).png

图3文件数据传输框架

高空标准化业务数据传输流程如图4所示,台站部署高空L波段数据处理程序,生成BUFR格式的高空.BIN文件和高空探测和状态.XML文件,通过FTP传输到省级国内气象通信系统2.0(CTS2.0)文件服务器的接口目录upar_temp/下,接口程序通过CTS文件分发策略,分发到天擎数据环境中,由DPC和MDOS去解码入库,最后通过MUSIC接口向用户提供数据服务。

图4高空标准化业务流程

3流传输

组网天气雷达数据传输主要通过数据流的方式,依托于省级国内气象通信系统2.0(CTS2.0)进行传输。台站客户端一边进行扫描,一边通过socket通信方式将径向数据上传至省级CTS的雷达流应用服务端,省级雷达流应用服务端在接收、处理和生成雷达基数据文件的同时,还会将雷达径向数据转发给国家级CTS。当台站-省流传输出现数据丢失时,省级CTS会向台站下发补传指令,台站客户端流补传应用再通过FTP补传省级缺失的雷达基数据。

图5 天气雷达基数据

4卫星广播

国内气象通信系统(CTS2.0)还包含2台CMAcast小站接收系统,负责接收卫星数据广播中心(主站)播发的业务数据。省级小站每日可接收处理约400GB的信息量,资料的种类主要有常规地面高空、自动气象站、卫星云图、格点资料、模式资料等。文件收发服务器收到广播文件数据之后,先进行文件名检查、唯一性检查、收集换名等收集处理,然后将数据一路分发至大数据云平台解码入库系统,通过MUSIC接口向用户提供数据服务,一路分发至Micaps系统,供业务单位使用。

5结语

国内气象通信系统(CTS2.0)中的消息传输模块已在省级进行业务运行,目前所有的国家级地面自动站和区域站BUFR数据均通过该系统进入国省的气象数据环境,并且为省级“天擎”系统提供数据服务支撑。

参考文献

[1]马巍,武欣嵘,郑翔RabbitMQ在实时监控系统中的应用。军事通信技术,2017,38(1):82-85