華爲雲數據遷移（Cloud Data Migration，簡稱CDM）是一種(zhǒng)高效、易用的批量數據遷移服務，提供同構/異構數據源之間批量數據遷移服務，幫助客戶實現數據自由流動。支持客戶自建和公有雲上的文件系統、關系數據庫、數據倉庫、大數據雲服務、對(duì)象存儲等數據源。
在數據治理中心（DataArts Studio）服務中，CDM作爲其中的“數據集成(chéng)”組件使用，産品能(néng)力與獨立的CDM服務保持一緻。CDM服務基于分布式計算框架，利用并行化處理技術，支持用戶穩定高效地對(duì)海量數據進(jìn)行移動，實現不停服數據遷移，快速構建所需的數據架構。
産品功能(néng)
1.表/文件/整庫遷移
支持批量遷移表或者文件，支持同構/異構數據庫之間的整庫遷移，一個作業即可遷移幾百張。
2.增量數據遷移
支持文件增量遷移、關系型數據庫增量遷移、HBase/CloudTable增量遷移，以及使用Where條件配合時間變量函數實現增量數據遷移。
3.事(shì)務模式遷移
支持當CDM作業執行失敗時，將(jiāng)數據回滾到作業開(kāi)始之前的狀态，自動清理目的表中的數據。
4.字段轉化
支持去隐私、字符串操作、日期操作等常用字段的數據轉換功能(néng)。
5.文件加密
在遷移文件到文件系統時，CDM支持對(duì)寫入雲端的文件進(jìn)行加密。
6.MD5校檢一緻性
支持使用MD5校驗，檢查端到端文件的一緻性，并輸出校驗結果。
7.髒數據歸檔
支持將(jiāng)遷移過(guò)程中處理失敗的、被(bèi)清洗過(guò)濾掉的、不符合字段轉換或者不符合清洗規則的數據單獨歸檔到髒數據日志中，便于用戶查看。并支持設置髒數據比例阈值，來決定任務是否成(chéng)功。
8.正則表達式分隔半結構化文本
支持在創建表/文件遷移作業時，對(duì)簡單CSV格式的文件，可以使用字段分隔符進(jìn)行字段分隔。
産品優勢
1.支持多種(zhǒng)數據源批量入湖
滿足近20種(zhǒng)常用數據源，滿足數據在雲上和雲下的不同遷移場景。
2.遷移效率高
基于分布式計算框架進(jìn)行數據任務執行和數據傳輸優化，并針對(duì)特定數據源寫入做了專項優化，遷移效率高。
3.簡單易用
免編程，向(xiàng)導式任務開(kāi)發(fā)界面(miàn)，通過(guò)簡單配置幾分鍾即可完成(chéng)遷移任務開(kāi)發(fā)。
4.成(chéng)本低
按需付費，根據使用資源量進(jìn)行計費，無須自建專用軟硬件。
5.實時監控
通過(guò)雲監控服務實時監控CDM集群的各項性能(néng)指标。
應用場景
1.大數據遷移上雲
大數據遷移上雲向(xiàng)導式任務管理，即開(kāi)即用，輕松上手。
.png)
大數據遷移上雲
2.數據批量入湖
數據批量入湖，支持用戶本地數據全量和T+1增量入湖。支持關系型數據庫、大數據、文件、NoSQL多種(zhǒng)數據源。能(néng)夠通過(guò)遷移作業的where條件配合調度系統實現增量同步，基于數據源特點采取并發(fā)拆分增強遷移性能(néng)。
數據批量入湖