Oracle异构数据库评估改造智能迁移全链路解决方案-logo
云市场服务保障
*请勿线下交易!90%的欺诈、纠纷、资金盗取均由线下交易导致。

商品介绍

产品亮点

通过采集和评估提前发现定位问题 通过采集评估,梳理数据库对象关系,梳理应用和库的关系 提前对可以发生问题的对象进行识别和打标,如根据表特性进行十几种分类打标等。 提前发现迁移中可能发生的风险,如日志附加级别的查询等。 自动兼容性识别和转换 自动发现所有不兼容对象,进行分级别梳理,并完成自动转换或者给出修改建议 自动梳理数据库对象之间的关系,完成创建排序等动作 生成迁云计划,借助结构和订正能力,完成全部的结构创建定义和逻辑 高效低压力的增量同步和数据实时对比 通过支持高效低负载的Oracle增量同步,可以保证业务不停机的情况下,完成数据热迁移 同步过程中可以实时对比数据,保证数据在最终只需要很短时间完成对比校验 通过以上方法,可以有效缩短停机窗口,减少切换风险,保证业务迅速切换和上线。

产品说明

Oracle数据库和应用异构迁移解决方案

全链路智能评估迁移平台

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

目录

1 概述 4

1.1 阿里ADAM迁移平台 4

1.2 DSG for ADAM数据库迁移 4

2 评估迁移平台产品功能 4

2.1 支持目标库类型 4

2.1.1 PolarDB 4

2.1.2 ADB for PG 5

2.1.3 PostgreSQL 5

2.1.4 GreenPlum 5

2.2 智能采集和智能画像(ADAM 5

2.3 智能评估和智能改造(ADAM 6

2.4 智能迁移计划生成(ADAM 6

2.5 日志并发分析 6

2.6 按需复制 6

2.7 首次全同步 6

2.8 实时同步 6

2.9 数据一致性检查 7

2.10 统一管理平台 7

3 评估迁移平台整体评估迁移流程 7

3.1 智能采集与画像(ADAM 8

3.2 智能评估和改造(ADAM 9

3.3 结构迁移和订正,生成ADAM最终迁移计划 ADAM 10

3.4 完整表结构迁移 11

3.5 数据迁移 11

3.5.1 日志分析 11

3.5.2 交易合成 12

3.5.3 交易传输 13

3.5.4 数据装载 14

3.5.5 数据完整性保证 14

3.5.6 数据初始化装载 15

3.6 数据比对 16

3.6.1 全量比对 16

3.6.2 增量比对 17

3.6.3 数据修复 18

3.7 对象迁移 18

4 评估迁移平台feature list 18

5 评估迁移平台应用 19

5.1 评估迁移平台- Oracle To Greenplum智能迁移解决方案应用场景 19

5.2 评估迁移平台 - Oracle To Greenplum案例分析 20

 

 

  1. 概述
    1. 阿里ADAM迁移平台

数据库和应用迁移服务(Advanced Database & Application Migration,简称 ADAM)是一款将 IT 系统轻松的从原有的运行环境迁移到阿里云的产品,尤其在把传统 IT 架构改造成互联网架构方面(比如从 Oracle数据库迁移到ADB for PG数据库)积累了阿里巴巴多年成功经验。

阿里ADAM推出Oracle数据库全链路智能迁移解决方案,覆盖Oracle迁移的全生命周期(包括:评估(兼容性、关联关系、性能、风险点)、转换(转换不兼容点、引擎特征优化转换)、结构迁移、数据迁移、一致性校验、SQL仿真回放、割接、优化。)。ADAM同时支持改造迁移方案,结合云端丰富的数据平台产品特性以及用户业务特性给出数据库和应用改造方案,助力企业Oracle数据库迁移上云。

    1. DSG for ADAM数据库迁移

结合阿里从传统 IT 架构向互联网和云架构改造升级方面的成功实践,ADAM智能分析迁移计划,DSG根据自身Oracle数据库多年的同步迁移经验高性能迁移产品for ADAM结合阿里云ADAM联合开发了DSG for ADAM智能迁移产品,可以为用户提供流程完整(包括结构迁移、数据迁移、数据比对、对象迁移)操作简单(提供可视化UI管理界面)、安全可靠(提供数据回流)的数据迁移。

  1. 评估迁移平台产品功能

结合阿里云强大的ADAM迁移计划,DSG for ADAM依靠自身高性能并发的Orale日志分析功能、首次全同步及数据增量同步功能、数据一致性检查和修复功能,将Oracle数据高效、安全迁移到阿里云数据库

    1. 支持目标库类型
      1. PolarDB

 

POLARDB是阿里云自研的下一代关系型云数据库,兼容Oracle引擎,存储容量最高可达100TB,单库最多可扩展到16个节点,适用于企业多样化的数据库应用场景。

POLARDB采用存储和计算分离的架构,所有计算节点共享一份数据,提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务。POLARDB既融合了商业数据库稳定可靠、高性能、可扩展的特征,又具有开源云数据库简单开放、自我迭代的优势。

POLARDB高度兼容 Oracle,降低Oracle迁移风险、缩短迁移周期,助力企业快速替换Oracle。

      1. ADB for PG

分析型数据库PostgreSQL版(原HybridDB for PostgreSQL)为您提供简单、快速、经济高效的 PB 级云端数据仓库解决方案。分析型数据库PostgreSQL版 兼容 Greenplum 开源数据仓库,为一种采用 MPP 全并行架构的数仓服务,其广泛兼容 PostgreSQL/Oracle 的语法生态,新一代向量引擎性能超越传统数据库引擎 10 倍以上,分布式SQL优化器实现复杂查询语句免调优。通过分析型数据库PostgreSQL版可以实现对海量数据的即席查询分析、ETL 处理及可视化探索,是各行业有竞争力的云上数据仓库解决方案。

      1. PostgreSQL

PostgreSQL是一种特性非常齐全的自由软件的对象-关系型数据库管理系统(ORDBMS),是以加州大学计算机系开发的POSTGRES,4.2版本为基础的对象关系型数据库管理系统。POSTGRES的许多领先概念只是在比较迟的时候才出现在商业网站数据库中。PostgreSQL支持大部分的SQL标准并且提供了很多其他现代特性,如复杂查询、外键、触发器、视图、事务完整性、多版本并发控制等。同样,PostgreSQL也可以用许多方法扩展,例如通过增加新的数据类型、函数、操作符、聚集函数、索引方法、过程语言等。另外,因为许可证的灵活,任何人都可以以任何目的免费使用、修改和分发PostgreSQL

      1. GreenPlum

Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中,每个 SMP节点也可以运行自己的操作系统、数据库等。换言之,每个节点内的 CPU 不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的,这个过程一般称为数据重分配(Data Redistribution) 。与传统的SMP架构明显不同,通常情况下,MPP系统因为要在不同处理单元之间传送信息,所以它的效率要比SMP要差一点,但是这也不是绝对的,因为 MPP系统不共享资源,因此对它而言,资源比SMP要多,当需要处理的事务达到一定规模时,MPP的效率要比SMP好。这就是看通信时间占用计算时间的比例而定,如果通信时间比较多,那MPP系统就不占优势了,相反,如果通信时间比较少,那MPP系统可以充分发挥资源的优势,达到高效率。

 

    1. 智能采集和智能画像(ADAM)

自动采集客户的数据库基础信息,并智能构建完整的画像描述,让客户对自己的源库的使用特性和库表情况有一个完整的理解。

    1. 智能评估和智能改造(ADAM)

针对采集到的信息,以及选择的目标库,就可以完整的进行所有数据库对象的兼容性分析和评估,并进行智能转换和改造。

    1. 智能迁移计划生成(ADAM)

自动将所有对象分析和转换结果、迁移建议、数据迁移辅助等信息生成智能迁移计划,指导和帮助后续的DSG for ADAM全流程迁移。

    1. 日志并发分析

DSG for ADAM进行日志分析时,可并发启动多个线程,对多个日志同时进行日志分析,加快日志分析性能。

    1. 按需复制

DSG for ADAM同时实现选择性复制。无需对所有的资料表信息进行复制,仅根据实际需要复制相应的表信息。

DSG for ADAM支持水平和垂直分割。在水平分割方面可以只复制那些满足预先定义的条件的记录,DSG for ADAM可以指定需要复制的schema、指定不需要复制的schema、指定复制某些schema下的某些table、指定排除某些特定的table等预定义方式。在垂直分割方面允许设置对指定表的指定列进行复制。

    1. 首次全同步

for ADAM在不中断业务运行的情况下,将源端Oracle数据库数据通过DSG XEXP导出,目标端系统再通过YLOADER和YXAD模块批量导入到目标阿里云数据库上,实现初始数据的同步。

    1. 实时同步

DSG for ADAM对源端Oracle Redo log进行分析,实时获取变化数据,将数据转换为XDT格式输出,并实时通过网络传送到目标端阿里云数据库中,实现业务不中断的实时数据同步。

    1. 数据一致性检查

DSG for ADAM提供数据一致性检查工具,用来比较源端的记录和目标端的记录是否完全一致。如果出现数据不一致,for ADAM将对不一致的部分进行修复。

    1. 统一管理平台

DSG for ADAM提供可视化UI管理平台,支持多用户并发访问。通过UI管理平台用户可以执行迁移操作、查看迁移统计信息(包括结构迁移、数据迁移数据比对、对象迁移统计信息)。用户通过统一管理平台,可以简单、直观完成Oracle到阿里云数据库的迁移。

 

  1. 评估迁移平台整体评估迁移流程

DSG针对阿里ADAM云迁移计划,按照用户实际需求,将Oracle数据库安全可靠的迁移到阿里云降低Oracle数据库的迁移成本和缩短迁移周期。

DSG for ADAM迁移流程包括:

图 1 DSG for ADAM完整使用流程和场景

 

图 2 ADAM转换能力图

 

图 3 DSG for ADAM迁移流程

    1. 智能采集与画像(ADAM)

DSG for ADAM 依赖阿里ADAM的评估结果和生成的迁移计划,首先需要下载ADAM的采集客户端进行智能采集生成数据包。

上传数据,ADAM for GP根据Oracle采集到的数据生成智能画像,全面描述客户源库使用情况和特征。

智能采集和画像的特点:

  • Oracle数据库与应用架构发现
  • 多维画像分析
  •  Oracle使用特性(O特性)分析
  •  Oracle性能分析
  •  Oracle容量分析
  • 外部依赖分析
  • 特殊表类型分析
  • 对象详情和搜索能力

    1. 智能评估和改造(ADAM

ADAM for GP会自动分析Oracle to GP/ADB的兼容性,并自动进行改造和转换,给出所有的数据库对象的转换和处理建议。

          同时将所有的结果和标记生成ADAM智能迁移计划,用于ADAM Studio和DSG for ADAM的结构迁移、订正和改造,并指导数据迁移。

    1. 结构迁移和订正,生成ADAM最终迁移计划 (ADAM)

在仿真或者真实环境中,部署ADAM Studio(从官网下载),创建项目,并导入获取到的ADAM迁移计划,完成初步源库对比校验。

进行结构试迁移,并根据情况进行结构订正。

完成结构订正以后,生

    1. 完整表结构迁移

DSG for ADAM解析ADAM最终迁移计划,将迁移计划中Oracle数据库中的所有表结构(包括表结构关联的schema、索引type和type body)同步到阿里云,并在阿里云数据库中创建所有表结构

    1. 数据迁移

DSG for ADAM将Oracle数据首次全同步到阿里云数据库,并实时分析Oracle redo log日志,将变化数据实时同步到阿里云数据库中,DSG for ADAM工作原理,2所示。

2 DSG for ADAM数据同步原理

DSG for ADAM通过AOXD进程对源端Oracle日志进行监控和分析。当应用系统在源端向Oracle数据库进行任何操作时,这些信息都将在Redo Log中保存,AOXD通过对实时获取的Log日志进行分析,将Oracle日志以最快的速度转换为XDT格式输出,并通过Agent进程将XDT数据实时传送到目标端系统中。

目标端系统通过Xagentd进程接收源端数据库包,经过校验码检查,确认正确的数据库包后,调用阿里云数据库的函数按照交易的先后顺序,通过YLOADER装载进程在目标端系统中执行该交易。

      1. 日志分析

Oracle的所有更改都记录在日志中,当我们需要了解数据库中所作的交易时,可以通过DSG for ADAM的AOXD分析Oracle Redo Log日志文件实现。

DSG for ADAMAOXD包含AOX和AOXC模块,主要完成的功能是日志并发分析,将分析后的XDT数据排序加载等工作。

  1. AOX为日志并发分析模块,只被动的做日志分析,输出XDT等简单管理工作。
  2. AOXC为AOX客户端模块,完成XDT文件并发读、日志排序,以及与AOX一些交互工作。

当AOX接收到AOXC客户端请求日志分析的时候,将启动一个新的线程来完成日志分析,将Oracle日志以最快的速度转换为XDT格式输出。

3所示以源端Oracle两个RAC节点为例介绍for ADAM的日志分析功能

3 DSG for ADAM AOXD日志分析

进行日志分析前,Agentd启动后会做一个初始化连接到AOXC,得到XDT缓存目录以及其他配置信息等内容。

当Agentd决定从具体那个日志开始分析后,将调用AOXC模块,做开始读日志设置信息。

AOXC客户端接到Agentd配置后将启动两个(即每个RAC节点一个独立的读XDT线程)独立的内部线程优先将分析过的日志XDT文件读到内存中。

AOXC优先查找AOX输出目录是否存在自己需要的XDT文件,如果存在将立刻读出对应XDT数据到缓存中,发现要读的XDT文件不存在的时候将自动给AOX发送分析请求命令,请求AOX尽快分析出对应日志的XDT输出,同时AOXC在给AOX发送请求的时候每次会多发送一些,这样AOX可以提前多分析一些日志。如果源端数据库库运行很慢的时候多发一些日志也是无效的,对应日志可能还没有产生,AOX将自动忽略不存在的日志;如果遇到源端数据库库运行很快的时候就会存在AOX同时多个日志在一起分析,这样就实现了分析并发。已经分析出来的日志在输出缓存目录中又可以为其他交易合成提供必要的数据,这样另外几套交易合成就不用再做日志分析了。

AOXC预读XDT到缓存后,当Agentd要读具体XDT数据的时候,AOXC将从缓存中立刻取出对应的XDT数据,每次只取SCN最小的一部分XDT数据给Agentd,Agentd有了对应XDT后就可以完成分组、转换等工作。

AOX输出XDT数据的缓存目录可以根据实际需要灵活配置,可以存放到本地,也可以存放到远程。输出后的XDT也可以按照目录总大小来删除,如:规定目录总大小为50G,超过50G部分AOX将优先按照最少使用的XDT数据优先删除;也可以按照AOXC请求的方式来删除,AOXC每次读完一个XDT文件后会给AOX发送一个小于该XDT删除命令,AOX将根据各个请求端的XDT需要,来决定是否需要立刻删除或者暂缓删除对应XDT数据。

AOXC对已经分析的日志将不会重复分析,输出到缓存目录中的日志也不会重复分析,减轻日志分析对源端生产库的影响。

      1. 交易合成

通过Oracle Redo Log分析的交易指令存在以下两个特点:

  1. 这些指令是交叉出现的。一个交易(Transaction)中的多条SQL 指令是非连续存储的;而多个交易中的SQL 指令之间是相互穿插的。
  2. Redo log中记录了所有交易,包括已经Commit的交易和未Commit的交易。

为了提高系统的可控制性、保证逻辑完整性及避免数据丢失,最好将复制的最小单位作为一个交易(Transaction),这样在目标端的交易装载更加容易控制。

同时对于复制的数据而言,在目标系统中只有那些已经Commit的数据是有意义的,Rollback的数据无需复制到目标系统上。

因此DSG for ADAM不是复制每个SQL 语句,而是对抓取的数据进行交易整合后以交易为单位进行复制,并且只复制Commit的交易。

4 交易合成

4所示,Online Log Cache 文件包含Commit的交易、没有Commit的交易和Rollback的交易。交易合成模块首先按照交易序号对SOL 语句进行划分,然后以交易为单位将已经Commit的交易,传递到传输处理模块,将未Commit的交易保存在本地,将Rollback 的交易作丢弃处理。当交易合成模块通过日志得知保存的未Commit的交易已经提交,则该交易将会被立即发送到传输处理模块中。

      1. 交易传输

DSG for ADAM为了保证数据传输的安全性和可靠性,在传输处理上进行改进:

  1. 数据在传输之前首先存入源数据端的Cache,传输进程(Export Process)从Cache中读取交易数据并将其封装为TCP/IP 数据包,传送给目标端的xagent进程。
  2. 在目标端,xagent进程在收到传输的交易数据包后,首先将数据包存入Queue中,然后由yloader进程从Queue中严格按照交易的顺序装载交易信息到阿里云数据库中。

5 交易传输

5所示,负责传输的进程(Export Process)从本地队列中按照先进先出的原则抓取需要传输的交易,然后将交易数据封装成一个数据包后,通过TCP/IP 协议传递给目标端系统。目标端系统在接受到传来的数据包后,首先根据包头描述的包大小进行传输的合法性检查,判断是否传输完整。

      1. 数据装载

DSG for ADAM采用XDT数据格式进行装载,在装载性能上进行了大幅度的改善,使得装载端的性能和处理能力需求降至最低。

XDT格式是DSG公司的专有技术,用来表达SQL 指令。该数据格式能够通过DSG的专有转换算法直接转换为阿里云数据库的内部数据表达格式,在分析和转载时仅需要进行最小的格式转化即可,提高分析和装载速度并减少资源占用。

关系型数据库系统在设计上提供4个层次的接口,其中包括User层、SQL层、Transformation层和I/O层。DSG for ADAM通过XDT数据格式装载时,调用I/O层直接将数据通过阿里云数据库的最底层函数写入系统中,如6所示。

6 数据装载

      1. 数据完整性保证

DSG for ADAM复制软件主要通过以下几个方面保证数据的一致性和完整性:

  1. 保证交易先后顺序

DSG for ADAM严格按照源端Transaction执行顺序在目标端加载,严格的I/O顺序是保证系统逻辑正确的关键因素。

DSG for ADAM通过对Transaction的SCN号进行判断,并严格保证源系统上先Commit 的交易在目标端也是先装载。

  1. 检查日志跟踪的连续性

DSG for ADAM在每次log读取结束时,都将记录当前读取的日志的Sequence No、Block No和最后读取的Offset。当下次读取文件时,先检查是否和上次读取的位置严格连续,从而保证对日志分析的完整性。

  1. 数据一致性检查

DSG for ADAM提供数据一致性检查工具,用来比较源端的记录和目标端的记录是否完全一致。如果出现数据不一致,DSG for ADAM将对不一致的部分进行修复。

      1. 数据初始化装载

当系统进行初始化或需要重新完成批量数据复制时,DSG for ADAM提供海量数据的高速复制功能。

DSG for ADAM复制功能是通过对数据实行导入、导出的方式实现的,该功能不是对Oracle数据库底层的存储数据块进行复制,而是将源系统上的已有数据记录从datafile中直接读取并解析成为XDT 数据格式,再利用YLOADERXDT数据批量快速装载到目标端系统上。

        1. 首次批量数据装载

DSG for ADAM调用Oracle的I/O层的API接口批量读取一张表(Table)的记录,然后将读取的记录转化为XDT格式,再将XDT格式表示的一批记录传送到目标端的Xagent进程,目标端再调用YLOADER和YXAD进程将数据批量写入阿里云数据库中,如7所示。

对于Oracle而言,其中有许多张表(Table),DSG for ADAM依次将每张表的所有数据按照上述原理复制到目标端数据库中。

XEXP导出过程不是通过Oracle的标准select接口,所以其导出速度非常快。同时,在采用YLOADER实现批量数据装载时,还无需停止源系统上的业务流程。

7 数据首次复制

        1. 增量数据装载

那么for ADAM是如何处理在导出过程中新改变的数据的复制呢?DSG for ADAM还提供第二阶段的增量数据复制:当上个步骤的大批量数据完成后,DSG for ADAM再将上步骤过程中新增加的交易重新复制到目标系统。

增量数据复制的工作原理是通过跟踪和分析从上个步骤开始时的所有redo log信息,从log文件中分析和翻译出这段时间内新增加的记录,然后再将记录通过语法转换在目标数据库上插入,如8所示。

8 增量数据复制

在这两个执行过程中,生产系统的业务可以保持运行状态,无需中断业务。

    1. 数据比对

DSG for ADAM提供数据一致性比对工具用来比较源端的记录和目标端的记录是否完全一致。如果出现数据不一致,for ADAM将对不一致的部分进行修复。

DSG for ADAM支持对数据进行全量比对增量比对及数据修复。

      1. 全量比对

DSG for ADAM支持对同步的所有数据进行全量比对,全量比对的工作原理如9所示。

9 DSG for ADAM全量比对

  1. DSG for ADAM对源端和目标端数据库按顺序导出表数据,导出后立刻计算每行数据CRC,然后将CRC和ROWID数据传给DSG for ADAM比对工具。具体表数据不会在网络上传输,不影响业务性能。
  2. DSG for ADAM比对工具按照CRC排序,比较排序后的CRC数据,如果出现不一致信息,根据具体的CRC数据查找对应的ROWID值,可以对不一致数据进行修复
      1. 增量比对

增量比对,即上次不一致数据的基础上再做一次比对,不会对原来已经确认为一致的数据再进行比对。

10 DSG for ADAM增量比对

 

  1. 查询比对记录表,得到哪些数据需要做增量比对。对需要比对的表查询出具体每行数据,并计算出CRC。
  2. 比对新导出数据的CRC。如果不一致,则结果写入到比对记录表中
  3. 全量比对一样,根据具体的CRC数据查找对应的ROWID值,可以对不一致数据进行修复
      1. 数据修复

DSG for ADAM会把源端和目标端不一致的记录导出成xdt数据,然后自动调用yloader先删除目标端不一致数据,然后再加载源端导出的xdt来完成修复。

    1. 对象迁移

表结构和数据迁移完成后,且数据比对完全一致,DSG for ADAM根据ADAM迁移计划,将Oracle的所有对象迁移到阿里云,并在阿里云数据库中创建所有对象。

  1. 评估迁移平台feature list
  1. 全面数据库迁移方案

依托阿里云ADAM智能分析迁移计划,结合DSG在Oracle异构数据库的迁移产品经验,用户提供流程完整、操作简便、数据安全准确的Oracle数据库迁移方案

  1. 数据对象自动转换和改造:

DSG for ADAM依赖ADAM的智能采集、智能评估、智能转换和智能改造,对于所有数据库特性都提供智能转换或者改造建议。

  1. 数据库日志高效分析:

DSG for ADAM支持对Oracle数据库日志并发分析,加快日志分析性能。通过AOXD模块对日志进行一次分析,分析输出的XDT文件可供多进程、多任务使用,同时XDT文件可存放在本地或远程,以减轻数据库日志重复分析对源端系统带来的压力。

  1. 无需中断业务

DSG for ADAM在不中断业务的情况下可以实现数据同步和不一致数据修复,无需人工干预,简化软件操作,减少用户工作量。

  1. 支持Oracle迁移到阿里云多种数据库:

DSG for ADAM支持对Oracle数据库到阿里云POLARDB、RDS、ADB、PPAS等各种异构数据库的同步迁移

  1. 支持数据回流

DSG for ADAM支持数据回流功能。可以将迁移后的阿里云数据反向同步到Oracle数据库中,保障数据安全

  1. 统一监控管理

提供的UI管理平台,方便用户通过简单操作,就可以完成Oracle数据库迁移操作同时,对迁移中的没有流程都显示详细的同步信息

  1. 评估迁移平台应用

根据ADAM迁移计划,结合DSG for ADAM自身的同步迁移功能,在不中断业务的情况下安全可靠的实现Oracle数据库到阿里云的数据迁移

 11 Oracle数据库零停机迁移

    1. 评估迁移平台- Oracle To Greenplum智能迁移解决方案应用场景

ORACLE数仓迁移场景介绍

  1. 大量CLOB/BLOB表里面存储的大量的文本或图片,要快速的迁移到数仓
  2. 不同源端系统不同字符集,到数仓需要统一的字符集应用
  3. 源端业务系统不含主键的表,到数仓保证更新和删除快速完成
  4. 源端建表语句和到数仓的建表语句不同,保证分区字段的更新不影响数仓的更新
  5. 源端业务的升级有大量的DDL变更,保证正确的DDL语法转换后无感知无故障的应用
  6. 源端业务表为了快速在线业务建立的索引,需要在数仓里的快速分析业务里变化成合适的索引
    1. 评估迁移平台 - Oracle To Greenplum案例分析
  1. 客户案例背景介绍

随着大数据时代的到来,xx省公安厅下辖各级公安机关警综系统采集汇聚的数据量日益巨大、数据结构更加复杂,增长迅速。目前,xx省公安厅还未建立有效的警综系统数据汇聚手段,原有的数据抽取整合工具在传输海量结构化数据时效率低下,且无法满足各类数据抽取整合的需要。为解决因数据分散导致的资源共享不及时、利用率不高等问题,xx省公安厅急需开展警综系统数据汇聚整合工具建设,实现对下辖各级公安机关警综系统的高效抽取汇聚和关联整合,进一步丰富全警实战应用需要。

  1. 客户需求:完成xx省公安厅下辖十三个地市警综系统(Oracle)数据实时汇聚到xx省公安厅警综系统集中库(GP)
  2. 客户需求特点:
  1. 数据量大

省内下辖十三个地市的警综系统进行数据汇聚,数据量目前估算约为20-24TB左右

  1. 准确性高

省内下辖十三个地市的警综系统进行数据汇聚,常发生丢或漏数据的情况,需要保证数据的准确性、一致性为了后续业务的正确性使用

  1. 差异化

省内下辖十三个地市的警综系统进行数据汇聚,部分地市有个性化开发,导致有的地市表结构不完全相同(关键字段是有的),考虑汇聚共性字段

  1. 标准性

省内下辖十三个地市的警综系统进行数据汇聚,从地市警综系统生产端压力考虑,目前采用从警综前置机或备份库上进行数据汇聚,地市前置库或备份库具体建立技术标准,由省厅统一下发

  1. 整合性

省内下辖十三个地市的警综系统进行数据汇聚,为了便于对汇聚库资源进行整合,地市相同表名的数据同步省厅,需要整合到同一个表内

  1. 实时性

省内下辖十三个地市的警综系统进行数据汇聚,要求数据为实时或准实时复制,原有数据汇聚整合工具,无法做到实时或准实时的数据汇聚。

  1. 客户案例实施过程 - Oracle To Greenplum主流程(ADAM+DSG)
  1. 画像 - ADAM
  2. 评估 - ADAM
  3. 改造 - ADAM
  4. 迁移 - DSG 
  5. 同步 - DSG 
  1. 客户案例实施效果总结 (DSG)
  • 最小风险
  • 最少改动
  • 最优成本
  • 最大扩展
  1. 省厅下辖十三个地市警综系统(Oracle)数据实时汇聚到省厅警综系统集中库(GP)系统架构如下:

 

xx省公安厅数据汇聚平台,涉及xx省13个地市的警综数据,各地市的系统、平台等环境都存在一定差异,因此,如果要如此大规模的数据汇聚,存在诸多方面的挑战。DSG给出的方案中,基本上解决了各种难题,主要体现如下:

参与复制的系统多,并且生产端都是生产系统,这就要求数据复制产品的复制效率要足够高,否则影响查询结果。

多种平台混合复制。由于源端有13个生产库或者生产库的备库,其中存在hp,aix等知名厂商的各种平台系统,这就要求复制产品支持各种异构平台。

基于表复制。每个系统抽取的数据均是部分表的数据。

索引异构。由于源端和生产系统,目标端是查询系统,系统的功能不同导致相应的索引也有所不同。

分区异构。同样由于系统功能不同,导致某些表的分区结构也不同,要求复制软件能够在分区异构的情况下也能正常复制。

多表合一。在多个系统中,有可能存在用户名和表名均相同的情况,在复制过程中,需要解决多表合一的问题。

数据转换分析

根据现场的实际情况,把数据从oracle到greenplum的数据复制,存在以下方面的一些转换:

序号

需求内容

解决方案

实现结果

1

字符集转换

GBK转换为UTF-8

实现

2

Blob 表处理

Blob 表源端导出过滤、目标端加载过滤

实现

3

Delete+insert

Update 操作先delete后insert

实现

4

关键字特殊处理

表结构有特殊字段#或者是count(*) 进行转换

实现

5

字段长度处理

字段长度太长,进行转换处理

实现

6

Index 处理

根据需求制定特殊列的索引为btree

实现

7

增加loadtime列

增加gp入库的时间标记

实现

8

增加rowid

增加rowid对no pk/uk提升update加载速度

实现

9

数据引号处理

入库数据不需要‘’处理

实现

10

Delete 删除优化

优化delete 操作

实现

11

Update更新优化

优化update 操作

实现

13个地市相同表名的数据同步省厅,业务整合涉及内容及数据比较:

测试项目

业务表不整合

业务表整合

安装和部署

比较简单

需要针对每个地市的每张表都需要进行详细配置

数据初始化同步效率及资源占用

效率较高,资源占用较低

对生产端资源占用没有影响

对省厅GP目标端资源占用较高,特别是磁盘IO和内存资源消耗较高

单表数据修复

支持单表数据修复,1千万数据需要600s

支持单表数据修复,1千万数据需要1200s

表结构更改

无需干预

需要重新配置配置文件并使其生效,有些情况可能需要重新初始化

前端应用配合

应用层面需要进行调整

应用层面调整较小

后期运维服务

为保证稳定性,均需要驻场服务,业务表整合增加了单表数据修复功能,维护量和业务表不整合未有差别

查询效率

分别列举了10条常用的sql进行对比

未整合效率比较整合后低,整合后查询快,资源消耗小

SQL1:

65s

SQL1:

74s

SQL2:

66s

SQL2:

29.27s

SQL3:

22.73s

SQL3:

9.59s

SQL4:

66s

SQL4:

15.43s

SQL5:

11.7s

SQL5:

7.27s

SQL6:

5.49s

SQL6:

3.6s

SQL7:

5.99s

SQL7:

3.24s

SQL8:

19.81s

SQL8:

3.65s

SQL9:

7.58s

SQL9:

4.49s

SQL10:

6.9s

SQL10:

20.86

 

产品参数

交付方式人工服务
依托云产品云数据库
质保时间180天
交付时间7工作日
开票主体迪思杰(北京)数据管理技术有限公司
所属类目上云迁移
上架日期2020-02-13

产品截图

https://photogallery.oss-cn-hangzhou.aliyuncs.com/photo/1154110888220396/undefined62e9693bbe094268b5bf4e5dd179757c.jpg

售后支持范围

售后服务时间:7 * 24小时 售后服务内容: 1. 后台技术支持专家远程电话支持 2. 后台技术支持专家邮件支持 3. 故障现场支持 服务热线:010-82051581 网址:www.dsgdata.com (具体服务内容视用户情况协商而定)
本页面内容由服务商提供

商品价格(此处价格仅供参考,实际价格以选配后的价格为准)

版本名称计费项新购
版本基础价格100000元
数据量(200G以内)100000元/G
数据量(200G-500G)200000元/G
数据量(500G-1T)350000元/G
数据量(1T以上)500000元/G

使用指南

立即下载

客户案例

电信行业:中国移动集团/网关、中国移动南方基地、中国移动手机阅读基地、中国联通集团、浙江移动、河南移 动、北京移动、上海移动、江西移动、湖北移动、江苏移动、广西移动、贵州移动、海南移动、青海移动、宁夏 移动、甘肃移动、黑龙江移动、西藏移动、辽宁移动、湖南移动、广东移动、重庆移动、陕西移动、安徽移动、 内蒙移动、广西电信、海南电信、黑龙江电信、山西电信、吉林电信、江西电信、山东电信、贵州电信、内蒙电 信、河北电信、新疆电信、福建电信、河南电信、澳门电信、印尼电信、四川电信、陕西电信、云南电信、安徽 电信、甘肃电信、宁夏电信、广东电信、杭州电信、印尼电信、广东联通、河南联通、上海联通、北京联通、辽 宁联通、江西联通、福建联通、广西联通、湖南联通、四川联通、江苏联通、内蒙联通、贵州联通、云南联通、 海南联通、黑龙江联通、吉林联通… 金融行业:中国金融期货交易所、中国证券金融公司、中国期货保证金中心、上海黄金交易所… ? 中国建行、中国银联、广发银行、徽商银行、华夏银行、贵州省农信、河南省农信、广西农信、湖北农信、 浙江农信、兰州银行、新疆建行、哈尔滨银行、武汉农商行、成都商行、天府银行、南粤银行、乌鲁木齐银 行、中国金融电子公司… ? 太平洋保险集团(集团、寿险、财险)、安邦保险、大地保险、天平保险、天安保险、华农保险、乐爱金保险、 泰山保险、瑞泰人寿、紫金保险、华泰保险、浙商保险、中邮保险、中航安盟保险、横琴人寿、泰康资产、 人保资产、民生通惠资管、中德安联人寿、德华安顾人寿、英大长安保险、富通保险、中宏保险… ? 富国基金、泰达宏利基金、银华基金、华泰柏瑞基金、易方达基金、金元比联基金、天宏基金、招商基金、 南方基金、中银基金、创金合信基金、嘉实基金…
迪思杰(北京)数据管理技术有限公司 DSG 高级总监 顾利斌 13910969468 gulb@dsgdata.com ? 国泰君安期货、鲁证期货、中银期货、东吴期货、信达期货、西部期货、中州期货、科信期货、中粮期货、 鲁能金穗期货、东航期货、东证期货、中原期货、中大期货、天鸿期货、西南期货、国元期货、英大期货、 国海期货、中衍期货、道通期货、广发期货、江信国际期货、弘业期货、招商期货… ? 中信证券、广发证券、平安证券、国泰君安证券、银河证券、申万宏源证券、华泰证券、东吴证券、民族证 券、国海证券、长江证券、西南证券、太平洋证券、国金证券、西部证券、山西证券、中投证券、新时代/远 大证券、上海证券、东兴证券、万联证券、金元证券、信达证券、中航证券、南京证券、国联证券、东海证 券、金通证券、中原证券、财达证券、国盛证券、广发华福证券、恒泰证券、湘财证券、华鑫证券、财富证 券、中天证券、财通证券、华欧/华信证券、中邮证券、德邦证券、爱建证券、华宝证券、联合证券、日信/ 国融证券、英大证券、诚浩/网信证券、大通证券、第一创业证券、开源证券、深圳证券信息、摩根华鑫证券、 国泰君安证券资管、申万宏源证券资管… ? 东航财务、一汽财务、中建财务、中航财务、中国电子科技财务、晨光纸业财务、银泰财务、兵装财务、海 亮财务、山东黄金财务、山东重工财务、现代汽车金融、长安汽车金融公司、重庆汽车金融、北京银商、易 鑫汽车金融、建信信托、国泰君安资产、中国人保资产、上海股权托管交易中心、重庆金融资产交易所、广 州产权交易所、青海股权交易中心、新疆股权交易中心、天津文化艺术品交易所、天津渤海商品交易所、东 盟海产品交易所、陕西股权交易所、重庆药品交易所… 政府机关:国家交通部、国家信息产业部、国家知识产权局、中国邮政集团、中国民航空管局、国家海洋局、中 国国际电子商务中心、中国金融电子化公司、国家博物馆、中国文联、中国扶贫办、全国组织机构代码管理中心… ? 新疆国税、陕西国税、重庆国税、广东国税、甘肃国税、青海国税、北京地税、河北地税、山西地税、福建 地税、重庆地税、江西地税、陕西地税、甘肃地税、西安地税、兰州地税、吉林财政、江西财政、山东财政、 湖北财政、宁夏财政、云南财政、武汉财政、南宁财政、扬州财政、滨海财政、塔城财政、阳泉财政、黄冈 财政、宜昌财政、宁江财政、荆州财政… ? 福建公安、江苏公安、广东公安、辽宁公安、吉林公安、四川公安、陕西公安、新疆公安、广西公安、浙江 公安、贵州公安、青海公安、甘肃公安、海南公安、云南公安、西藏公安、北京公安、广州公安、乌鲁木齐 公安、西安公安、银川公安、东营公安、德州公安、陇南公安、许昌公安、伊利公安、喀什公安、曲靖公安、 厦门公安、泉州公安、鄂尔多斯公安、内江公安、南京公安、无锡公安、南通公安、扬州公安、昆山公安、 宿迁公安、泰州公安、常州公安、徐州公安、黄山公安、温岭公安、奉化公安、舟山公安、营口公安、荆州 公安、佛山公安、河源公安、珠海公安、甘肃森林公安、广东交警、吉林交警、湖北交警、云南交警、甘肃 交警、青海交警、宁夏交警、深圳交警、顺德交警、佛山交警、海口交警、西安交警、沈阳交警、晋城交警、 东莞交警、禅城交警、舟山交警、温州交警、盐城交警、蚌埠交警、黄石交警、鄂州交警、恩施交警… ? 江苏省社保、山东省社保、浙江省社保、广东省社保、湖北省社保、青海省社保、吉林省社保、贵州省社保、
迪思杰(北京)数据管理技术有限公司 DSG 高级总监 顾利斌 13910969468 gulb@dsgdata.com 安徽省社保、重庆社保、新疆社保、四川社保、吉林省医保、宁夏社保、乌鲁木齐社保、哈尔滨社保、石家 庄社保、太原社保、东莞社保、南京社保、无锡社保、常州社保、南通社保、镇江社保、泰州社保、盐城社 保、连云港社保、淮安社保、扬中社保、句容社保、江阴社保、溧阳社保、海安社保、如东社保、太仓社保、 杭州社保、宁波社保、舟山社保、湖州社保、义乌社保、台州社保、路桥社保、桐乡社保、上虞社保、嘉兴 社保、安吉社保、余杭社保、诸暨社保、长兴社保、海宁社保、金华社保、浦口社保、兰溪社保、兴化社保、 泸州社保、烟台社保、日照社保、临沂社保、宜宾社保、荆州社保、攀枝花社保、巴州社保、甘孜州社保、 乐山社保、内江社保、德阳社保、眉山社保、南充社保、塔城社保、阿克苏社保、喀什社保、昌吉社保、伊 宁社保、哈密社保、巴音社保、鄂州社保、咸宁社保、黄冈社保、遂宁社保、绥中社保、白银社保、梅州社 保、北京医保、青海医保、西安一卡通… ? 河南省政府、湖北检疫局、四川就业局、四川农业、四川教育、黑龙江教育厅、安徽统计局、云南统计局、 广东商检、湖南国土厅、新疆工商、陕西工商、山东工商、安徽工商、甘肃工商、山西工商、成都工商、北 京公积金、南京公积金、杭州公积金、无锡公积金、遵义公积金、益阳公积金、通化公积金、庆阳公积金、 包头公积金、沈阳不动产、西安住建、南宁房管、哈尔滨房管、石河子房管、临海房管、衢州房管、泰州房 管、镇江房管、靖江房管、温州住建委、浙江省公路局、山东交通厅、吉林交通厅、辽宁交通厅、广西交通 委、北京交通委、深圳交通委、天津交通委、郑州交通委、徐州交通、江苏高速、江西高速、吉林高速、甘 肃高速、江苏航道局、建邺区政府、浦口区政府、盱眙城管、太仓市民卡、浙江省标准化研究院、吉林审计、 南昌国土、盐城国土、镇江国土、芜湖国土、嘉峪关国土、宿州纪委、云南农委、宁夏党委、河南总工会、 盱眙人防、白城智慧城市、合肥供水、沈阳燃气、六盘水牂牁景区、柯桥旅游、厦门市市场监督管理局、安 徽省食品药品监督管理局、甘肃机构编委、徐州交通、兰州车管、广东高检、陕西司法、河南检察院、黑龙 江高法、四川高法、杭州安全局、云南公安出入境、句容国土、太仓政法… 卫生教育: ? 浙江省卫健委、深圳卫健委、湖南省卫健委、长春医保、镇江卫健委、平湖卫生局、南浔卫生、太仓卫生局、 武进区卫生局、江宁卫生局、仪征市卫生局、长兴卫生、东阳卫生局、安吉卫健委、鄞州卫健委、嘉善卫生、 德清卫生、海盐卫生、高邮卫健委、颍上卫健委、滨海卫健委、山东大学、南京财经大学、南京农业大学、 河北大学、北方民族大学、北邮大学、河南科技大学、中国武警学院、西北工业大学、深圳图书馆、宁夏档 案馆… ? 北京中日友好医院、总后医院、江苏省人民医院、南京军区总院、江苏省第二中医院、解放军第四五四医院、 南京鼓楼医院、南京雨花医院、南京明基医院、南京红十字医院、南京妇幼医院、南京同仁医院、东南大学 附属医院、江北人民医院、无锡第四人民医院、常州中医院、南通人民医院、泰州二院、连云港一院、连云 港二院、连云港东方医院、徐州丰县医院、句容人民医院、堰桥医院、丹阳妇幼、宿迁妇幼、高邮人民医院、
迪思杰(北京)数据管理技术有限公司 DSG 高级总监 顾利斌 13910969468 gulb@dsgdata.com 靖江中医院、滨海县中医院、苏州明基医院、楚州中医院、浙江省中医院、浙江新华医院、浙江省荣军医院、 杭州中医院、杭州眼科医院、湖州中医院、温州七院、温州中西医、温州附二院、仙居医院、开化医院、镇 海医院、嘉兴一院、永嘉中医院、永康妇幼、北仑中医院、北仑人民医院、皖南弋矶山医院、黄山人民医院、 定远医院、上海中冶医院、新疆人民医院、新疆一附医、乌鲁木齐友谊医院、乌鲁木齐四院、石河子第一人 民医院、阿克苏医院、巴州医院、喀什人民医院、莎车医院、乌苏医院、玛纳斯医院、安阳市医院、重庆儿 童医院、开县医院、中卫医院、海口人民医院、黑龙江中医药大学医院、济宁医学院、第四军医大学医院、 西安交大医院、西安一院、西安儿童医院、宝鸡市中心医院、汉中中心医院、包头中心医院、包头医学院、 郑州大学附属医院、吉林大学二附院、四平人民医院、铜川人民医院、甘肃妇幼、紫阳医院、中卫人民医院… 企业集团: ? 国家电网、南方电网、中国国航、中国一汽、中石油、中石化东北石油局、中石化易金卡、中国铁建、中钢 集团、中国民航空管局、胜利油田、大港油田、北京公交集团、江苏广电、新疆广电、广西广电、辽宁广电、 洛阳广电、中信国安广视、青岛有线、北京铁路局、南昌铁路局、哈尔滨铁路局、兰州铁路局、沈阳铁路局、 石家庄铁路局、西安铁路局、呼和浩特铁路局、天津铁路局、乌鲁木齐铁路局、昆明中铁、广东电网、广西 电网、云南电网、贵州电网、海南电网、北京电力、四川电力、河南电力、江西电力、湖北电力、青海电力、 吉林电力、湖南电力、安徽电力、上海电力、宁夏电力、广州电网、深圳电网、华东电力、华北电力、天富 热电、厦门电力、靖远电力、白银电力、济南钢铁、醴陵电力… ? 格力集团、中国中车、家乐福、国美电器、蛇口码头、天津港、宁波港、大连港、唐山港、长城汽车、阿里 巴巴、巨石集团、浙江华数传媒、南方水泥、银泰百货集团、杭州金通、江苏波司登、中芯国际、华润微电 子、正葳电子、台达电子、亚旭电子、无锡尚德、江苏农垦、南京国旅、长航油运、苏通卡、日出东方太阳 能、苏果超市集团、广州 BOSS、佛山公共、富港电子、富强电子、唐山百货、廊坊明珠、鲁巷广场、临沂商 城、家有购物、合德物流、上海医药、嘉宝莉化工、天津滨泰能源、东港股份、酒钢集团、远大物产、三江 航天、OPPO 手机、广东景兴江苏环太集团、江苏大剧院、江苏省电子商务、广东景兴、黑龙江福彩、南京地 铁、三峡云计算中心、九鼎集团… BDMP 数据备份应用&备份一体机应用 解决大数据量高速备份/恢复的问题,如 1T 数据增备只需 30 分钟、支持单表恢复、备份数据打开验证、支持非归档等… ? 电信行业:中国电信集团、广西/新疆/青海/海南/贵州/宁夏/江西/河北电信、中国联通总部、北京/天津/重庆/ 广东/广西/河北/陕西/四川/江西/福建/吉林/青海/湖北/黑龙江/新疆联通、甘肃移动、宁夏移动、江西移动、青 海移动、新疆移动… ? 金融行业:中国金融期货交易所、银河证券、华泰证券、国联证券、西部证券、民族证券、东兴证券… ? 政府行业:宁夏财政、山西地税、宁夏电力、新疆公安、深圳交警、东莞社保、广州公安、湖南国土...
 

用户评论

综合评分
--

暂无评价

专业服务
(在线时间:正常工作日)
4009030002 转13350
13735571573
提交工单

建议您还可搭配以下商品

犀思云数据中心专线/专线接入阿里云
云专线是犀思云提供的高速、安全、稳定的二层专线连接服务,犀思云骨干网已经与阿里云众多地域的可用区之间实现预连接,帮助企业快速实现企业办公室—公有云,数据中心—公有云,私有云—公有云,公有云—公有云等连接场景,满足异地数据传输、容灾、备份等多地域业务互联需求。
3000
云服务器升级虚拟主机数据迁移网站搬家更换空间搬家数据备份木马病毒清除程序查杀Windows升级CentOS系统...
专业技术一对一或多对一人工服务,支持云服务器虚拟主机数据迁移网站搬家、数据备份、木马病毒查杀、网站跨平台数据迁移,数据库跨平台数据迁移、网站上云数据迁移、网站搬家、更换服务器,Windows2008升级更高版本系统,CentOS停服系统更换升级。由于数据迁移搬家的复杂程度由网站架构、数据量大小、迁移方式等影响,购买前请先联系客服确认数据大小及具体操作步骤。
100
Syscloud FusionWAN『SD-WAN』上云融合网关(vCPE)
vCPE(可集成CEN一建交付)是犀思云FusionWAN『SDWAN』融合网络服务的虚拟网关。配合支持多种接入方式(专线、互联网、4/5G)的硬件CPE,融合多种WAN网络实现技术(如MPLS VPN、SDWAN)、路由和安全,实现企业DC、分支、移动人员、混合多云的连接,应用安全访问与加速等业务场景。FusionWAN以客户TCO最优为目标,通过简化网络部署与业务管理,助力企业数字化转型。
1000
网站搬家|数据转移|云服务器网站数据库搬家|环境配置|数据迁移|重装系统
网站程序迁移,数据迁移,数据库迁移,网站搬家,环境配置,网站搬家工具,本地服务器搭建,自建搭建服务器,网站搬家。
50
磁盘扩容挂载(系统盘/数据盘)
Linux、Windows系统磁盘和数据盘分区、扩容、挂载及数据迁移。
128
网站搬家 虚拟主机迁移 服务器迁移 数据库迁移 上云迁移
春山云提供网站搬家,迁移虚拟主机网站及数据库服务,提供操作系统内网站数据迁移服务,支持数据库全量迁移,私有云镜像导出及云上迁移的服务。支持从虚拟主机迁移到ECS服务器,或者其他云厂商的主机/服务器迁移至阿里云。
200
【烽火星空】MySQL专业数据库恢复、数据迁移、误删除数据找回、ibd表损坏修复、断电启动崩溃恢复服务、日志...
提供MySQL数据库误删除恢复,通过delete,truncate,drop,rm等命令强行删除数据表或文件下的数据恢复服务,MySQL启动崩溃只有ibd,frm,myd等数据文件情况下的数据提取恢复。
0
网站搬家|数据转移|云服务器网站数据库搬家|环境配置|数据迁移|虚拟主机搬家/木马病毒清除|程序查杀|系统...
网站程序迁移,数据迁移,数据库迁移,网站搬家,环境配置,网站搬家工具,本地服务器搭建,自建搭建服务器,网站搬家。虚拟主机搬家
1
上云服务 企业上云 上云咨询 上云迁移
为用户提供一站式的云入驻服务。
2000
云专线(阿里云弗吉尼亚-AWS弗吉尼亚)
云专线产品以其高速稳定、安全可靠、灵活定制和优质服务等特点,为企业提供了一种高效、安全的数据传输解决方案。无论是大型企业还是中小企业,只要有数据传输的需求,都可以选择我们的云专线产品,实现与云资源的无缝对接,提升业务处理效率和用户体验。
55500