电力调度SCADA系统中历史数据压缩及存储策略

电力调度 SCADA系统中历史数据压缩及存储策略

陈健

内蒙古电力（集团）有限责任公司锡林郭勒电业局正镶白旗供电分局 内蒙古锡林浩特市 013800

摘要：随着电力系统自动化水平的提升，数据量呈现出几何式上升趋势，大量数据对信息处理与存储系统造成负担，而高效的数 据压缩技术可以使数据量减少，并提升数据利用的效率。数据经过压缩后，可以释放大量存储空间，存储更多的数据，而达到这一目标 就需要采用合理的压缩策略。

关键词：电力调度；SCADA 系统；历史数据压缩

一、电力调度SCADA系统
  电力调度SCADA系统用于采集电力数据并监控电力系统，计算机是自动监控系统的基础，在电力、燃气、化工等领域广泛使用。SCADA系统包括硬件系统和软件系统两部分，可以对数据实时处理和运算。硬件设备使用点点连接方式，还有硬件设备使用总线得到连接。SCADA系统软件包括多个功能模块，不同功能模块有着特定功能，采集数据需要由单个或者多个服务器完成采集工作。压缩数据常使用有损压缩的方法，主要可以分成矢量量化、变换信号以及分段线性法三种。分段线性法是最简单的方法，适合用于压缩数据。随着电网建设项目逐渐增多，电网自动化水平逐渐升高，数据采集量越来越大，海量数据给电网系统造成巨大的负担，需要通过有效数据压缩技术，减少数据量，提高数据的使用率。压缩数据使用合理存储策略可以减少数据存储空间，提高数据的查询效率。目前电网智能化水平越来越高，必须要配备更加智能和自动化的SCADA系统，满足电力调度的实际需要，要研究更高效的数据压缩技术，减少数据存储空间，保证SCADA得到稳定运行。

二、历史数据库的特点
  历史数据库特点体现在以下方面：一是自维护，系统从开始运行就会采集与存储数据，随着运行时间推移，历史库中数据会不断增加，但是历史库空间是有限的，因此需要确定哪些数据是需要存储的，哪一个时间段内的数据是需要存储的，从而将不需要存储的数据丢弃。二是存储介质，数据库内数据是依据一定规则存储于计算机内部，由于计算机内存读取速度会高于磁盘读写速度，系统可以快速对内存数据访问。受到存储容量与挥发性限制，计算机内部不适宜大规模存放数据。一般情况下，SCADA 系统会将磁盘与内存结合到一起，依据时间标准将数据库划成若干单位，每一个单位在内存中都会对应设置记录，采集的数据存储于此记录中。当数据记录没有空间时就会将其压缩至磁盘，以此实现数据处理及时性及大规格数据存储要求。三是周期性，系统周期性采集实时数据，并将数据存储于数据库，这一过程是自动的并且不会受到其它事件或者是人员限制，在时间上体现周期性。四是访问关键字，根据历史数据库特点，时间是访问的关键字之一，而关键字则是系统自动进行标记的，数据库可以检索到历史数据并且完成对某个量在某时刻的访问。

三、电力调度SCADA系统中历史数据压缩
  3.1数据压缩
  数据压缩是指使用一定方法对数据进行重新组织，使用全新的方法进行数据的表示，对于原始数据使用更少的代码进行表示，让冗余明显减少，节约大量的储存空间，更提高了传输处理的速度。压缩数据要根据数据特征，无论哪一种数据都存在冗余信息。在具体信息中，部分字符会多次出现，出现频率多于其他字符。符号出现位置可以经过预测得到，冗余数据可利用编码形式过滤。数据之间存在关联性，如图片色彩均匀，声音信号也能够发现一定规律。发现数据关联性可以使用转换方式将不同数据实现相互转换。数据压缩在保证数据质量基础上进行压缩，也可分成无损压缩技术和有损压缩技术。
  3.2实时数据库特点
  实时历史数据库主要存在三个特点：（1）自动维护，系统储存采集数据随着时间推移，数据库内容不断增加，但是由于历史库是有限空间，还需要确定哪些数据要得到储存，哪一个时间段要得到存储，丢弃不需要的数据。（2）存储介质，由于数据库中的数据是根据一定规则在计算机中保存，计算机读取数据的速度高于磁盘读写的速度，系统访问数据速度更快。受到挥发性和存储容量的约束，计算机内部不能储存大量数据。电力调度系统将磁盘和内存结合起来，按照时间单位划分数据库，内存每个单位都需要设置记录，记录采集的数据，数据记录没有多余空间时要对磁盘进行压缩，从而实现数据的处理，满足数据的储存要求。（3）周期性，电力调度系统要实时采集数据，在数据库中储存数据，储存过程是自动完成的，且不会受到事件和人员的限制，在储存周期上呈现出周期性的特征。（4）访问关键字，由于数据标记时间等关键字，系统可以自动标记关键字，数据库能够实现历史数据检索，完成数据量在特定时刻的访问。
  3.3压缩算法
  压缩算法根据平行四边形结构确定关键数据，将不是关键数据的部分丢弃，实现压缩数据的目的。电力系统运行期间会产生大量不相关信息和冗余，将冗余信息剔除掉，保留特征信息，实现数据压缩的效果。压缩算法对于特定数据允许误差，找出直线趋势，算法核心在于通过终点和起点确定直线和替代数据，对起点和终点进行记录。这种方法简单快速的实现数据压缩。但是也存在一定弊端，发现首个关键数据后，进行一周期压缩，但是后面可能还存在关键数据。这种方法属于线性拟合算法，优势在于速度快，对于给定数据压缩精度，可以发现最长直线趋势，压缩偏移根据实际情况设定，和算法本身没有太大关系。偏移量过大，会造成数据误差过大导致失真。增大压缩数据量会降低压缩比，还需要对算法进行改良，提出合适的压缩策略，才能自动调整偏移量。

四、SCADA 系统压缩数据存储策略
  电力调度工作采样数据特点体现在数据采集点多，系统需要对各方面进行监控，因此导致数据信息采集点数量单规模大。数据信息采集频率高，为了解并掌握所有设备运行情况，数据采集频率会增大，通常是间隔几秒就进行一次采集工作。鉴于数据采集量巨大，而且其中某些采样点是动态采集，只有当数据出现变化时才会采集，可能在某一个时间数据变化量大，从而出现数据爆发式存储。数据变化频率低，由于具备较高的采集频率，对于特定数据而言，在正常情况下，数据不会出现较大变化，甚至是某些数据采样点长时间都不会出现数据变化。对电力调度工作数据采样存在的以上特点，系统应用三级存储体系来应对，并对压缩后的数据进行存储，包括历史数据库，实时数据库，磁盘文件库。存储对象是断面数据及高查询频率曲线数据，而历史数据库则主要是对压缩采样数据进行存储。
  SCADA 系统在电力调度工作中应用十分广泛，并且在应用过程中，某些算法存在的不足也得到了改善。数据压缩可以通过判断斜率，最大平行四边形构造来实现。而数据存储则可以通过实时与历史数据库，磁盘文件库等三级存储来实现。实践已经证明SCADA 系统在安全可靠性方面都能够满足工作需要。

参考文献：
  [1]徐小光,凌云頔.电力调度智能化系统的集成优化策略研究[J].科技经济导刊,2018,26(33):32.
  [2]李琳,李淼,王志宏,等.电力调度自动化系统中数据挖掘技术运用分析[J].山东工业技术,2018(21):163.