浅谈常熟农商银行多数据中心建设的实践与思考

浅谈常熟农商银行多数据中心建设的实践与思考

  姓名:吴杰

单位：江苏常熟农村商业银行股份有限公司  江苏省常熟市  215500

随着银行业引入和快速推广大数据和云计算技术，服务器规模不断扩大，常熟农商银行（以下简称“我行”）现有数据中心容量已无法满足业务快速发展的需求。根据人民银行《金融科技发展规划（2022—2025年）》指引，信息系统需要向多节点并行运行、数据分布存储和动态负载均衡的分布式架构转型。因此，我行决定建设“燕谷”新数据中心，并对数据中心架构进行升级，由“两地三中心”转型为“两地多中心”，将数据中心网络从同城大二层对等网络转变为支持多中心互联架构，实现泛在接入、灵活调度、安全稳定等目标。

一、我行多数据中心建设面临的挑战

随着银行业信息化程度的不断提高和业务的快速发展，越来越多的银行需要构建分布式多数据中心网络来实现数据共享和业务协同。该架构面临着诸多挑战，如数据同步、网络安全、负载均衡、故障恢复等问题，需综合考虑网络拓扑结构、数据管理策略、应用程序架构等因素，才能实现高可用性、高性能、高安全性的多数据中心网络。

（一）多数据中心场景下的应用部署对网络架构提出更高要求

一是业务分布式单元化部署需要网络架构能够提供广泛的网络连接服务，以确保业务可以在不同数据中心之间无缝切换，实现业务高可用性和容错性；二是多个数据中心之间的流量调度需要网络提供稳定、可靠、安全的网络域名服务，以保证各个数据中心之间的通信顺畅，同时防止恶意攻击和数据泄露。三是云计算和大数据技术的大规模部署需要网络提供高速率、大带宽和弹性灵活的网络服务，以满足不同应用和服务的需求，同时保证数据中心的资源得到最优的利用。

（二）多中心网络建设需遵循监管规范指引

随着新技术和新业务场景的不断出现，各种监管规范和指引不断发布或更新，旨在引导银行科技在合规、稳健的前提下持续发展。在多数据中心建设中，灾备中心的能力、灾备中心物理距离、同城和异地网络、出口网络等方面都有相应的标准要求。我行在进行多中心网络建设时，必须遵循以上监管要求，以确保整体网络规划和建设符合最新的规范和指引要求，确保网络的可用性、稳定性和安全性。

二、我行多数据中心网络建设规划

（一）我行数据中心网络架构现状分析

我行目前采用业内通用的“两地三中心”架构模式，分别是总行、常熟档案楼、苏州国科三个中心以及武汉异地灾备中心，其中档案楼的同城双活数据中心通过网络大二层结构为外部应用提供服务，国科中心作为OceanBase的第三节点和开发测试的部署节点使用。档案楼大二层延展的网络架构在同城双中心场景下可提供高可用性，但在延展到多数据中心时仍然存在不少局限性，比如流量绕行、环路风险和性能受限等问题。

为解决该难题，我行需在确保生产业务运行稳定前提下，逐步完成底层网络基础设施向多中心架构转型，实现基础网络由二层网络转向三层网络，以解决流量绕行和环路风险问题，并提供更好的性能支持。

（二）我行多数据中心网络建设原则

前瞻性原则：结合网络、存储、分布式数据库、全栈云等技术发展趋势，以前瞻性的方式规划网络架构，使其满足技术发展需求，保持竞争优势。

合规性原则：依据监管要求和规范进行网络规划，提升网络安全合规管控能力，确保高安全性。

业务核心原则：以业务为核心，一体化规划应用系统与网络协同，打造支持多中心和多业务场景的网络基础设施服务能力。

高可靠性原则：部署高可靠的网络能力，以满足多中心灾备需求。选择合适的网络拓扑结构，适合多数据中心网络的拓扑结构，以实现数据中心之间的高速连接和流量负载均衡。

易扩展性原则：提高易扩展能力，通过网络融合承载、逻辑隔离、模块化部署等方式，根据业务需求实现灵活扩展。为适应业务快速变化，需要在多数据中心网络中实现弹性伸缩，以满足不断变化的流量需求。

高效管理原则：为降低管理复杂度和提高效率，应该采用统一的网络管理工具，以管理所有数据中心网络设备和服务。建立完善的网络监控系统，可以及时发现网络故障和瓶颈，保障网络的稳定性和可靠性。

（三）我行多数据中心网络建设方案

1.核心网

数据中心间的网络连接是我行多数据中心、多业务融合承载的关键因素。为满足高可靠性、高带宽、低时延、低成本等要求，数据中心网络采用层次化、模块化的设计思路，以弹性灵活的基础架构为基础，实现分布式数据中心、分支机构、村镇银行、非金融合作伙伴等网络接入能力。核心层作为顶层穿越区域，以本次新建海虞数据中心、档案楼数据中心和总行数据中心部署核心节点。接入层则根据业务和地域属性接入节点的接入方式，后续可按需扩展，实现网络快速部署、业务灵活接入。

同时，为提高网络的可靠性和安全性，核心网规划了双平面路由和业务逻辑通道，实现了业务流量负载分担和业务逻辑隔离功能，为整个网络提供了高效、安全的数据传输网络通道。通过这样的设计，核心网能够满足多数据中心的需求，为我行提供稳定、可靠、高效的数据中心网络服务。

我行本次建设的核心网具备逐步演进至SDWAN网络的能力，未来可以核心网为底座，引入SDWAN的技术产品，实现网络的智能化管理和业务流量的自动调度。此举可以实现业务细粒度检测与流量自动调度，能够敏捷感知运营商线路质量变化与业务服务质量状况。同时，基于软件定义等相关技术，可以实现对广域网线路资源的精细化管理，挖掘线路资源潜力，在保障业务可靠开展的前提下，提高了广域网线路带宽资源利用率。此外，为解决目前网络调度管理方面缺少随流即时检测和实时业务质量可视等问题，本次还将结合金融广域网技术发展趋势，开展核心承载网SRv6的试点和部署，研究核心网SRv6的演进路线和IPv6+的随流检测、应用感知等技术。通过这些举措，我行可以逐步实现网络的智能化管理和业务流量的自动调度，提高网络的运维效率和业务质量，为客户提供更加优质的金融服务。

2.DCN网络及波分网络

DCN和波分网络是实现同城数据中心大流量高速传输通道的重要组成部分，能够有效分担核心网在同城数据中心间的传输压力。

在DCN网络方面，我行本次新建数据中心时，通过合理规划了DCN交换区在三中心分布式部署，帮助各个中心内部各个传统分区与云分区间的东西向流量访问提供支撑，能够满足不同业务类型和流量现状的需求。随着多中心接入和云、大数据、分布式技术发展趋势的结合，DCN网络将会基于三层网络实现数据中心高速互联，满足同城数据中心相同安全域不过防火墙的高速互访需求。

除了DCN网络外，本次数据中心改造项目中还将采用光传输DWDM技术和运营商裸光纤，建设同城高速波分光网络，能够满足存量传统二层应用的网络架构对跨中心链路的时延、可靠性要求高的需求。同时，点对点按需组网的方式能够构建同城光传输波分网络。这些技术的应用和发展，将有助于提高我行的数据中心网络架构的性能和可靠性，提高业务效率和安全性。

3.分布式域名解析系统

在多数据中心架构下，如何保证业务流量的调度和转发是一个非常关键的问题。近年来，基于域名的流量调度机制已经成为商业银行多数据中心架构的主流解决方案，也是域名化改造的一个重要方向。作为流量调度的核心环节，域名系统应具备高可用架构的支撑，同时，其本身的安全性也将影响全行的业务系统稳定性。

鉴于此，我行对三中心的域名解析系统进行了全面的架构设计和产品创新。一方面，我行在数据中心分区中单独建设了公共服务区并在三中心分布式部署，业务区内部设置独立域名服务器，不与公共域名服务器混用，以实现多中心场景下的流量安全调度。单中心域名服务器通过负载均衡实现集群部署，增加域名系统整体可靠性和扩展性，提升整体服务能力。另一方面，我行设计了针对DNS的相关安全防护措施和技术保障方案，为多数据中心架构下的业务流量调度提供了高性能、高可用、高安全的域名服务系统。

4.数据中心安全域建设与资源池化部署

为实现数据中心资源池化部署，满足多业务融合承载和弹性扩展的需求，本次以网络安全域规范为基础，规划了互联网区、外联区、金融专区、业务一区、业务二区、运维管理、公共服务区、核心网、开发测试区等安全域，并按照“安全域规划合规、安全域结构精简、同质区互访高效、逻辑区灵活扩展、云内外安全一致”的规划原则对原有网络安全域进行了重建。在资源池层面，参照网络安全域规划，根据业务传输需求，形成相应的多中心资源池组网标准架构，降低全局性风险，增强扩展性。通过该过程，我行实现了数据中心资源池的统一部署和标准化，支持业务快速敏捷交付，提升了安全性和效率。

三、未来展望

在多数据中心网络建设及配套应用多活改造方面，我行面临着一系列复杂的系统工程和新的问题和挑战。我行将持续研究和完善网络建设和应用部署，不断推进金融科技网络架构转型，打造坚实的网络基础设施。通过进一步夯实数据基础建设，逐步推进数据中心从传统“两地三中心”向多数据中心灾备架构演进，为我行加快业务数字化转型、高质量服务实体经济，助力地方社会经济发展提供扎实的基础技术支持。