移动边缘网络环境中的数据同步方法

移动边缘网络环境中的数据同步方法

宋伟,米娜,王雷雷

浙江简捷物联科技有限公司 浙江杭州 310012

摘要：随着边缘计算和移动网络技术的发展，新的移动网络方案(如车辆、集群和无人机网络越来越受欢迎。这些移动边缘网络通常具有较高的计算能力和内存容量，并且是自组织的。节点之间的协作和数据同步需求不断增加，但相应的链路带宽并未相应增加。因此，降低数据同步的网络开销、提高带宽有限的网络环境中数据同步的效率成为一个重要问题。基于此，本文章对移动边缘网络环境中的数据同步方法进行探讨，以供相关从业人员参考。

关键词：移动边缘；网络环境；数据同步方法

引言

面对我国经济高速增长，企业有能力扩大存在，开拓全球市场，企业有多种经营方式。企业的信息系统在企业增长和可承受性方面起着至关重要的作用。大型企业使用不同的硬件和软件设备、数据库等。数据传输的准确性、及时性和效率因各部门必须与信息进行交互而受到影响。

一、数据同步的概述

（一）数据同步的基本要素

数据同步的基本元素包括复制日志、时间戳和冲突日志。执行数据同步日志的机制允许使用日志记录来保存和记录数据更改，但信息共享中存在错误，例如b .修正和细化信息表格，部分原因是时间戳。主要功能是确保同步数据的连续性，主要关联对象是每种同步类型的数据库表，同步时间戳分为两种类型:即Last时间戳和Next时间戳。

（二）数据同步技术

数据安全性是评估数据库系统性能的一个重要指标，而分布式数据库由于其复杂的结构和大量的数据，经常会出现繁重的工作负载甚至过载。如果数据库系统崩溃，重要数据可能会损坏和丢失。复制技术允许根据分布式数据库的结构配置文件和执行特征定期更新存储在不同节点上的数据，并确保源数据和备份数据始终保持一致。这样，即使源数据由于数据库系统中的意外故障而丢失或损坏，也可以在不影响正常使用的情况下备份数据。根据数据复制的类型，复制可以分为同步和异步两种类型。根据同步的方向，同步可以是单向同步，也可以是双向同步。本文介绍了完全对等复制的应用。

二、数据同步的主要冲突处理方法与优缺点

数据安全性是评估数据库系统性能的一个重要指标，而分布式数据库由于其复杂的结构和大量的数据，经常会出现繁重的工作负载甚至超负荷。如果数据库系统崩溃，重要数据可能会损坏和丢失。复制技术允许根据分布式数据库的结构配置文件和执行特征定期更新存储在不同节点上的数据。同时确保源数据和备份数据始终保持一致。这样，即使源数据由于数据库系统中的意外错误而丢失或损坏，也可以在不影响正常使用的情况下备份源数据。复制可以分为同步和异步两种类型，具体取决于数据复制的类型。同步可以是单向或双向的，具体取决于同步的方向。本文介绍了完全对等复制的应用。

三、移动边缘网络环境中的数据同步方法

（一）完全对等数据同步模型

此模型的作用是在分布式网络环境中实现对等数据同步。工作原理:当任何节点上的数据库更新关键数据时，系统都可以及时做出响应，收集和分发更新事务处理，并与分布式网络中的其他对等节点同步更新事务处理。同步更新完成后，所有节点上的数据都保持一致，从而实现完全等效的数据同步。在此模型中，所有节点服务都平行连接到网络。这可确保在其中一个节点出现故障时不会中断任何节点。

（二）传统内外网数据同步

内部和外部网络上有三种传统的数据同步方法:传输同步、传输同步和双向同步。传输同步方法:将要同步的电力数据从intranet下载到本地设备，然后复制到extranet的统一方法易于使用，无论时间、地点和网络如何，但由于电力数据库数量众多，容易造成数据混乱。上载同步方法:MC端的电源数据上载方法复杂，需要高网络。，但更新MC端电源资料时，SVR仍会保留原始电源资料，且不会使用MC端电源资料变更来更新自己的电源资料库，因此必须事先手动下载SVR资料架构，以使电源资料双向同步方法:通过使用服务器和客户端电源数据的双向移动，MC端提前下载SVR方案，以实现双方电源数据的实时更新，但由于电源信息系统不稳定，数据效率较高。

（三）ETL体系结构

ETL系统主要包含下列模组:资料模组、程序管理区段、来源资料区段等等。数据模块是实现系统的基础，其主要作用是控制数据过程和数据处理；流程管理主要根据系统和源数据进行数据处理和数据预处理；源数据科的主要作用是根据数据源的结构组织数据，对数据进行更正和改进，并传输数据；conversion部分根据数据定义规则执行模块化数据传输。数据访问部分验证数据并提供数据捆绑接口。

（四）数据库操作

数据库操作模块连接到MySQL数据库，执行添加、删除和更正功能，并在高访问并发情况下执行性能优化处理。有两个相关类:一个是cdatabase类，它封装MySQL数据库的基本API函数并执行操作函数，如另一个类CDBConncetPool继承了cdatabase类，并将数据库连接池功能添加到其基类中，即数据库连接对象在程序启动时创建并存储在队列中，直到程序关闭并释放，从而避免频繁连接到数据库。

（五）动态数据同步

动态数据同步模块由发送线程和接收线程组成。发送线程负责在检测到动态数据的实时更改后组织动态数据同步请求消息。根据动态同步请求消息的传播范围分为按需传播、分组传播和广播；接收线程接收其他节点发送的动态同步请求消息，调用在该节点的内存数据库中定义的动态数据重新加载功能，并返回端到端响应消息。动态数据同步的主节点是全局节点，设备节点的动态数据首先与全局节点同步，然后由全局节点与需要关注动态数据的其他节点同步。因此，为了将动态数据分布到其他节点，发送线程还负责请求要同步的节点地址信息，并将其作为按需消息发送到设备节点的接收线程。

（六）双队列报文同步

混合机会式同步方法分为时间机会同步和空间机会同步。低实时性报文首先进入时间机会同步方式，同步节点“存储-携带”同步数据，在一定等待时间内若链路状态恢复正常，则进行数据同步；否则，进入空间机会同步方式，寻找合适的中转（辅助）节点，将数据同步到中转节点进行数据同步。若无法在要求时间内完成同步，则同步失败。同时，在机会式同步的过程中，若中转节点已经接收到相同的同步数据，则终止数据的接收。

结束语

海量数据和勘探分析对企业发展，特别是互联网、技术密集型企业的发展具有不可替代的作用，数据为市场形势、未来方向和应用提供了有力的保护。此时，某些大型数据库通常使用分布式结构来确保数据安全并加快查询速度。针对海上加密数据，使用数据同步技术可以更新数据库系统各个分布式节点上的数据并使其保持一致，从而大大降低数据库系统的运行负荷，提高操作响应能力。

参考文献

[1]王园.面向多场景的大数据集成存储与治理系统的设计与实现[D].北京邮电大学,2020.

[2]冼啟铭.大数据量下异构数据库的数据同步系统的设计与实现[D].华南理工大学,2020.

[3]唐洁.大数据分析展示系统的数据同步方案设计与检测[J].电子技术与软件工程,2020(08):150-151.

[4]刘行行.异构数据同步系统的研究与实现[D].北京邮电大学,2019.

[5]曾泽堂.一种数据同步系统的设计与实现[D].南京大学,2019.