Data Integration は、複雑なネットワーク環境において、異種データソース間でデータを高速かつ確実に移動および同期する、安定的、効率的で、弾力的にスケーラブルなデータ同期プラットフォームです。
プロセス
Data Integration には、デスクトップコンピューターから Google Chrome バージョン 69 以降を使用してアクセスしてください。
Data Integration の一般的な開発ワークフローは次のとおりです。
データソースを設定し、リソースグループを準備して、データソースとリソースグループの間に ネットワーク接続 を確立します。
ユースケースに基づいてバッチまたはリアルタイムの同期タイプを選択し、UI ガイドに従って リソース と タスク設定 を完了します。
データプレビューと試行実行を使用してタスクを デバッグ します。デバッグが成功したら、タスクを 送信してデプロイ します。
これにより、継続的な運用フェーズが開始されます。同期ステータスをモニタリングし、アラートを設定し、リソースを最適化して、完全な管理サイクルを構成します。
従来のフォームベースの設定の代わりに AI を活用した対話形式で Data Integration タスクを作成し、ワークフロー全体でインテリジェントな運用保守 (O&M) を実行するために、DataWorks は Data Integration AI Native 機能 (DI Agent) も提供しています。これは、自然言語による対話形式のタスク作成、インテリジェリジェント診断、定期検査をサポートしています。詳細については、「Data Integration Agent」をご参照ください。
同期方法
DataWorks Data Integration は、レイテンシー、範囲、データポリシーの3つの次元を組み合わせた同期方法を提供します。詳細な説明と推奨事項については、「サポートされているデータソースと同期ソリューション」をご参照ください。
レイテンシー：バッチまたはリアルタイム。バッチ同期では、定期的なスケジューリングを使用して、1時間ごとまたは1日ごとにデータを移行します。リアルタイム同期では、変更データキャプチャ (CDC) によってソースデータの変更を取得し、秒レベルのレイテンシーを実現します。
範囲：単一テーブル、データベース全体、またはシャーディング。単一テーブルの詳細な転送だけでなく、データベース全体またはシャードデータベースのバッチ移行とマージもサポートします。
データポリシー：完全、増分、または完全・増分。完全移行では、すべての履歴データを移行します。増分同期では、新規または変更されたデータのみを処理します。完全・増分モードは両方を組み合わせ、データソースの特性とレイテンシー要件に基づいて、バッチ、リアルタイム、ニアリアルタイムの実装を提供します。
方法 | 説明 |
バッチ | 1時間ごとまたは1日ごとのタスクを使用する定期的なバッチスケジューリングにより、ソースデータの 完全 または 増分 移行を宛先に実行します。 |
リアルタイム | ストリーム処理エンジンを使用して ソースデータの変更をリアルタイムで取得 (CDC ログ) し、秒レベルのレイテンシーでデータ同期を実現します。 |
単一テーブル | 単一テーブルのデータを転送し、詳細なフィールドマッピング、変換ルール、制御設定をサポートします。 |
データベース全体 | ソースデータベースインスタンス内の複数のテーブルのテーブルスキーマとデータを 1 回の操作で宛先に移行し、自動テーブル作成をサポートします。1 つのタスクで複数のテーブルを同期でき、タスク数とリソース消費量を削減します。 |
シャーディング | 同じスキーマを共有する複数のソーステーブルのデータを単一の宛先テーブルに書き込み、シャーディングルーティングルールを自動的に識別し、データをマージします。 |
完全 | ソーステーブルからすべての履歴データを一度に移行します。通常、データウェアハウスの初期化またはデータアーカイブに使用されます。 |
増分 | ソースからの新規または変更されたデータのみを同期します ( |
完全・増分 | 履歴データの1回限りの完全同期を実行し、その後自動的に増分データ書き込みに移行します。Data Integration は、さまざまなシナリオに対応する完全・増分同期をサポートしています。ソースと宛先のデータソースの特性とレイテンシー要件に基づいて、適切なオプションを選択してください。
|
基本概念
概念 | 説明 |
データ同期 | データ同期とは、ソースからデータを読み取り、抽出とフィルタリングを実行し、データを宛先に書き込むことを指します。Data Integration は、論理的な 2 次元テーブル構造に抽象化できるデータの転送に重点を置いています。データストリームの消費や ETL 変換機能は提供していません。 Data Integration は、at-least-once (少なくとも 1 回) の配信保証のみをサポートしています。exactly-once (正確に 1 回) の配信はサポートされていません。これは、同期後に重複データが発生する可能性があることを意味します。データの重複排除は、主キーと宛先の機能によってのみ保証できます。 |
フィールドマッピング | フィールドマッピングは、同期タスクにおけるソースと宛先のデータ間の読み書きの対応関係を定義します。フィールドマッピングを設定する際は、ソースフィールドと宛先フィールド間の型の互換性を慎重に確認して、ダーティデータを生成したり、タスクの失敗を引き起こしたりする変換エラーを回避してください。一般的なリスクには次のものがあります。
|
同時実行数 | 同時実行数は、データ同期タスク中にデータストアから並行して読み取りまたは書き込みを行うことができるスレッドの最大数です。 |
速度制限 | 速度制限は、Data Integration 同期タスクが到達できる転送速度の上限です。 |
ダーティデータ | ダーティデータとは、無効、形式が正しくない、または同期例外が発生したデータを指します。単一のレコードが宛先への書き込みに失敗すると、それはダーティデータとして分類されます (たとえば、ソースの ダーティデータによりタスクが失敗した場合、正常に書き込まれたデータはロールバックされません。Data Integration はバッチ書き込みメカニズムを採用しています。失敗したバッチをロールバックする機能は、宛先がトランザクションをサポートしているかどうかに依存します。Data Integration 自体はトランザクションサポートを提供しません。 |
データソース | データソースは、外部システムへの接続のための DataWorks の標準化された設定単位です。MaxCompute、MySQL、OSS などのさまざまな異種データソースの事前設定された接続テンプレートを通じて、Data Integration タスクに統一された読み取り/書き込みエンドポイント定義を提供します。 |
データ整合性 | Data Integration は、at-least-once (少なくとも 1 回) の配信保証のみをサポートしています。exactly-once (正確に 1 回) の配信はサポートされていません。これは、同期後に重複データが発生する可能性があることを意味します。データの重複排除は、主キーと宛先の機能によってのみ保証できます。 |
機能とコアバリュー
DataWorks Data Integration の機能は、広範な接続性、柔軟な同期方法、高性能、便利な開発と運用保守 (O&M)、包括的なセキュリティ管理に表れています。
広範なデータエコシステムとの接続性
データサイロを解消し、データの集約と移行を可能にします。
豊富なデータソースへの対応：リレーショナルデータベース、ビッグデータストレージシステム、NoSQLデータベース、メッセージキュー、ファイルストレージサービス、SaaSアプリケーションなど、幅広いデータソースタイプをカバーしています。
複雑なネットワーク互換性：ネットワーク接続を設定することで、インターネット、VPC、Express Connect、または Cloud Enterprise Network (CEN) を使用して、ハイブリッドクラウドおよびマルチクラウドアーキテクチャ全体でデータ転送を有効にできます。
柔軟で多様な同期方法
バッチからリアルタイム、単一テーブルからデータベース全体、完全から増分まで、さまざまな同期要件を満たします。
バッチ同期：単一テーブル、データベース全体、シャーディングなど、さまざまなバッチ同期シナリオをサポートします。大規模な T+1 定期 ETL ロードのためのデータフィルタリング、列の削除、変換ロジックを提供します。
リアルタイム同期：MySQL、Oracle、Hologres などのデータソースからのデータ変更をニアリアルタイムでキャプチャし、リアルタイムデータウェアハウスまたはメッセージキューに書き込んで、リアルタイムのビジネス意思決定をサポートします。
完全・増分統合：バッチデータベース全体、リアルタイムデータベース全体、データベース全体完全・増分同期ソリューションを提供します。最初の実行ではデータの完全初期化を実行し、その後の実行では自動的に増分同期に切り替わります。これにより、初期データロードとその後の更新プロセスが簡素化され、完全移行、増分キャプチャ、完全から増分への自動移行機能を提供します。
弾力的なスケーラビリティとパフォーマンス
コアビジネスオペレーションに信頼性の高いデータ転送を提供する適応型リソーススケジューリング。
弾力的なリソース：サーバーレスリソースグループは、オンデマンドの弾力的なスケーリングと従量課金をサポートし、トラフィックの変動に効果的に対応します。
パフォーマンス管理：同時実行制御、速度制限、ダーティデータ処理、分散処理をサポートし、さまざまなワークロードにおいても安定した同期を保証します。
ローコード開発とインテリジェント運用保守 (O&M)
視覚的な設定と合理化されたワークフローを通じて、データ同期の開発の複雑さと運用保守 (O&M) コストを削減します。
ローコード開発：コード不要の UI は、コードを記述せずに、シンプルなポイントアンドクリック操作でほとんどの同期タスクを設定できる視覚的な設定インターフェースを提供します。コードエディタは、JSONスクリプトによる高度な設定をサポートし、パラメータ化や動的列マッピングなどの複雑な要件を満たします。
フルスタック運用保守 (O&M)：バッチ同期タスクはDAGワークフローに統合でき、スケジューリングのオーケストレーション、モニタリング、アラートをサポートします。
包括的なセキュリティ管理
多層的なセキュリティメカニズムを統合し、データフローのライフサイクル全体を通じてデータの制御性とコンプライアンスを保証します。
一元管理：データソースに対する権限の制御と開発環境と本番環境の分離をサポートする統合データソース管理センター。
セキュリティ保護：RAM アクセス制御に準拠し、ロールベースの認証とデータマスキングをサポートします。
課金
Data Integration タスクのコストには、主にリソースグループ料金、スケジューリング料金、パブリックネットワークトラフィック料金が含まれます。Data Integration タスクはリソースグループに依存しており、そのコストはリソースグループの料金として課金されます。一部のバッチおよびデータベース全体バッチ同期タスクはスケジュール実行を伴い、スケジューリング料金が発生します。データソースがインターネット経由でデータを転送する場合、パブリックネットワークトラフィック料金も適用されます。課金の詳細については、「コア課金シナリオ」をご参照ください。
ネットワーク接続
データソースとリソースグループ間のネットワーク接続は、Data Integration タスクの正常な実行の前提条件です。それらの間のネットワーク接続を確保する必要があります。そうしないと、タスクは必然的に失敗します。
Data Integration は、次のシナリオを含む、複雑なネットワーク環境における異種データソース間のデータ同期をサポートします。
Alibaba Cloud アカウントまたはリージョン間のデータ同期。
ハイブリッドクラウドおよびオンプレミス IDC 接続。
インターネット、VPC、CEN などの複数のネットワークチャネル設定。
詳細なネットワーク設定ソリューションについては、「概要」をご参照ください。
関連ドキュメント
データソースの設定後、Data Integration または [データ開発] で同期タスクを作成し、データを転送および移行できます。詳細については、次をご参照ください：