运营商网络整治成本管理探讨

这些场景经过归纳整理，得到了DTS的三大产品功能模块。

• 数据订阅模块：支持ES索引构建 、缓存刷新、业务数据变更订阅、CQRS模式实现
• 数据迁移模块：支持数据库多云同步、分库分表数据同步、压测数据、线下导入
• 数据同步模块：支持数据库多云同步、分库分表数据同步、压测数据、线下导入/同步

3.整体技术架构

整个DTS系统分为三个 逻辑层次，交互层、控制层、引擎层。
 

2020年下半年的主要任务，就是从0到1搭建了数据传输服务平台产品。平稳上线后，基本达到预期，实现了最初的产品规划目标。

这里做个复盘，记录下从0到1的过程，包括：

• 产品设计
• 整体技术架构
• 核心模块的技术选型、原理与改造适配
• 总结与展望

1.什么是数据传输服务

数据传输服务DTS(Data Transmission System)的目标是支持RDBMS、NoSQL、OLAP等数据源间的数据交互，集数据迁移/订阅/同步于一体，帮助构建安全、可扩展、高可用的数据架构。

当然，目前我们的核心存储还是以MySQL为主，因此，自研的数据传输服务的首要数据源是MySQL。

为什么不直接采用公有云产品呢，比如阿里云DTS?

主要原因是为了能更好地对接内部其他系统，支持许多内部系统数据迁移/同步的自动化流程需求。同时，业内相关开源技术非常丰富且成熟，有很多现成的轮子可以使用，可以大大降低云服务使用成本。

2.产品设计

对于DTS的最强烈需求来源，是正在推进的多云架构，需要能够构建多云数据库镜像。同时，我们又深入调研了其他业务需求，得到了众多用户场景。

包括但不限于：

• 数据库多云同步
• 分库分表数据同步
• ES 索引构建
• 压测数据、线下导入/同步
• 缓存刷新，Local cache/Redis cache等刷新
• 业务数据变更订阅
• CQRS模式实现

（编辑：江门站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!