ゼロ ETL 機能による Lindorm データのリアルタイム同期 - AnalyticDB

ソリューション概要

ビッグデータ時代において、企業は異なるシステムやプラットフォームに分散した大量のビジネスデータに直面しています。このデータを効果的に管理および活用するため、企業は一元的なデータ管理のために ETL ツールに依存することがよくあります。

ETL は、上流ビジネスシステムからデータを抽出し、変換 (およびクレンジング) し、データウェアハウスにロードするプロセスです。その目的は、上流ソースから分散したデータをターゲットデータウェアハウスに統合し、さらなる計算と分析を行うことで、効果的なビジネス意思決定をサポートすることです。

従来の ETL プロセスは、通常、以下のような課題に直面します。

リソースコストの増加：異なるデータソースには異なる ETL ツールが必要になる場合があり、ETL パイプラインの構築には追加のリソースコストが発生します。
システム複雑性の増加：ユーザーは ETL ツールを自ら保守する必要があり、運用保守の難易度が増し、ビジネスアプリケーション開発に集中することが困難になります。
データの適時性の低下：一部の ETL プロセスでは定期的なバッチ更新が行われます。ニアリアルタイムアプリケーションシナリオでは、分析結果を迅速に生成できません。

これらの課題に対処するため、Alibaba Cloud YAOCHI Database はゼロ ETL 機能を提供します。この機能により、ビジネスシステム (OLTP) とデータウェアハウス (OLAP) 間のデータパイプラインを迅速に構築できます。ビジネスシステム (OLTP) からデータウェアハウス (OLAP) へのデータの抽出、変換、クレンジング、ロードを自動的に行い、エンドツーエンドのデータ同期と管理を可能にし、トランザクション処理とデータ分析を統合することで、お客様がデータ分析ビジネスに集中できるよう支援します。

利点

使いやすさ： ユーザーは ETL (抽出、変換、ロード) 操作のための複雑なデータパイプラインを作成および保守する必要がありません。ソースデータと宛先インスタンスを選択するだけで、リアルタイムのデータパイプラインが自動的に作成されます。これにより、データパイプラインの構築と管理の課題が軽減され、上流アプリケーション開発に集中できます。
ゼロコスト： ゼロ ETL パイプラインには追加料金が発生しません。AnalyticDB for MySQL で上流データを無料で分析できます。
マルチソース集約：ゼロ ETL パイプラインは、複数のインスタンスから単一の AnalyticDB for MySQL クラスターにデータをリアルタイムで同期し、グローバルな分析視点を構築します。

サポートされているデータ同期タスク

Lindorm から AnalyticDB for MySQL へのデータ同期タスク。
ApsaraDB RDS for MySQL から AnalyticDB for MySQL へのデータ同期タスク。詳細については、「ゼロ ETLによるデータ同期」をご参照ください。
PolarDB for MySQL から AnalyticDB for MySQL へのデータ同期タスク。詳細については、「ゼロ ETLによるデータ同期」をご参照ください。

前提条件

AnalyticDB for MySQL クラスターと Lindorm インスタンスが同じリージョンに作成されていること。詳細については、「インスタンスの作成」をご参照ください。

重要
Lindorm インスタンスで LindormTable がアクティブ化されている必要があります。
AnalyticDB for MySQL クラスター用のデータベースアカウントが作成されていること。詳細については、「データベースアカウントの作成」をご参照ください。

課金

データ同期パイプラインは無料です。

注意事項

ゼロ ETL 機能は、以下のリージョンでのみサポートされています: 中国 (北京)、中国 (杭州)、中国 (上海)、中国 (深セン)、中国 (張家口)、中国 (青島)、中国 (広州)、香港 (中国)、シンガポール、米国 (シリコンバレー)、米国 (バージニア)。
AnalyticDB for MySQL クラスターのゼロ ETL パイプライン数が上限を超えると、新しいゼロ ETL パイプラインを作成できません。ゼロ ETL パイプライン数の上限については、以下のリストをご参照ください。
- クラスターのリザーブドリソースの合計 ACU 数が 24 ACU 未満の場合、1 つのゼロ ETL パイプラインを作成できます。
- クラスターのリザーブドリソースの合計 ACU 数が 24 ACU 以上の場合、3+3*[(合計ACU-24)/50] のゼロ ETL パイプラインを作成できます。
  
  [(合計ACU-24)/50] の計算は切り捨てられます。たとえば、クラスターの合計 ACU 数が 48 の場合、結果は 0.48 となり、0 に切り捨てられます。この場合、3 つのゼロ ETL パイプラインを作成できます。
説明
- Data Lakehouse Edition の場合、リザーブドリソースの合計 ACU 数は、コンピューティングリザーブドリソースとストレージリザーブドリソースの ACU の合計を指します。
- Data Warehouse Edition の場合、1 コアは 1 ACU に相当します。エラスティックモードの場合、リザーブドリソースの合計 ACU 数は、コンピューティングリソースとエラスティック I/O リソースのコアの合計を指します。リザーブドモードの場合、リザーブドリソースの合計ACU数は、コンピューティングリソースのコア数を指します。
ゼロ ETL 機能は、Lindorm インスタンス内の HBase テーブルのみ同期できます。SQL テーブルはサポートされていません。

事前準備

AnalyticDB for MySQL サービスリンクロールの作成

RAM コンソールの役割一覧に移動します。
ロール一覧にサービスリンクロール AliyunServiceRoleForAnalyticDBForMySQL が存在するかどうかを確認します。存在しない場合は、ロールを作成します。
ロールの作成 をクリックします。
ロールの作成 ダイアログボックスで、Alibaba Cloud サービス を選択し、[次へ] をクリックします。
ロールタイプとして Alibaba Cloud サービス を選択し、AnalyticDB for MySQL を選択します。
完了をクリックします。ロール一覧に戻り、サービスリンクロールが作成されていることを確認します。

RAM ユーザーへの管理権限の付与

RAM ユーザーがゼロ ETL パイプラインを作成および管理するには、以下の2種類の権限が必要です。

RAM ユーザーへの AnalyticDB for MySQL 管理権限の付与

RAM ユーザーが AnalyticDB for MySQL のゼロ ETL パイプラインを作成および管理するには、AnalyticDB for MySQL の管理権限 AliyunADBFullAccess が必要です。詳細については、「RAM ユーザー権限の管理」をご参照ください。

RAM ユーザーへのゼロ ETL 機能の管理権限の付与

RAM ユーザーがゼロ ETL パイプラインを作成および管理するには、ソースインスタンスと宛先インスタンス (AnalyticDB for MySQL) のパイプラインを作成する権限が必要です。すべてのソースインスタンスと AnalyticDB for MySQL インスタンス、または特定のインスタンスに対してパイプラインを作成できるカスタムポリシーを作成し、そのカスタムポリシーを RAM ユーザーにアタッチできます。カスタムポリシーの作成と RAM ユーザーの承認の詳細については、「カスタムポリシーの作成」をご参照ください。

以下のセクションでは、カスタムポリシーのスクリプトについて説明します。

すべての Lindorm インスタンスと AnalyticDB for MySQL クラスターへの権限の付与

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "dts:*",
            "Resource": [
                "acs:adb:*:*:*",
                "acs:lindorm:*:*:*",
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "dts:DescribeRegions",
                "dts:DescribeConfigRelations",
                "dts:DescribeSrcLinkConfig",
                "dts:DescribeDestLinkConfig",
                "dts:DescribeLinkConfig"
            ],
            "Resource": [
                "acs:dts:*:*:*"
            ]
        }
    ]
}

特定の Lindorm インスタンスと特定の AnalyticDB for MySQL クラスターへの権限の付与

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "dts:*",
            "Resource": [
                "acs:adb:*:*:dbcluster/am-2zeod8ax4b9a****",
                "acs:lindorm:*:*:dbinstance/ld-bp19yeo38q4****",
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "dts:DescribeRegions",
                "dts:DescribeConfigRelations",
                "dts:DescribeSrcLinkConfig",
                "dts:DescribeDestLinkConfig",
                "dts:DescribeLinkConfig"
            ],
            "Resource": "acs:dts:*:*:*"
        }
    ]
}

手順

AnalyticDB for MySQL コンソールにログインし、左上隅でクラスターが配置されているリージョンを選択します。左側のナビゲーションウィンドウで クラスターリスト をクリックし、宛先クラスターの ID をクリックします。
左側のナビゲーションペインで、Data Transmission Service (DTS) > [無料データ同期]を選択します。

Zero-ETL タスクの作成 をクリックします。Zero-ETL タスクの作成 ページで、ソースデータベースと宛先データベースを設定します。

以下の表は、ソースインスタンスのパラメーターについて説明しています。

パラメーター	説明
タスク名	ゼロ ETL タスクの名前。
データベースタイプ	ソースインスタンスのデータベースエンジンです。選択するのは [Lindorm]。
アクセス方法	ソースインスタンスのアクセス方法です。値は自動的に [Alibaba Cloud インスタンス] に設定されます。
インスタンスリージョン	Lindorm インスタンスが配置されているリージョン。
インスタンスID	Lindorm インスタンスの ID。
データベースアカウント	LindormTable への接続に使用するデータベースアカウントの名前とパスワード。パスワードを忘れた場合は、LindormTable のクラスター管理システムでパスワードを変更できます。詳細については、「ユーザーの管理」トピックの「ユーザーのパスワードの変更」セクションをご参照ください。
データベースパスワード

宛先データベースを設定します。

宛先データベース	説明
データベースタイプ	宛先データベースは AnalyticDB for MySQL 3.0 のみに対応しています。
アクセス方法	[Alibaba Cloudインスタンス] のみがサポートされています。
インスタンスリージョン	AnalyticDB for MySQL クラスターが配置されているリージョン。
インスタンスID	AnalyticDB for MySQL クラスターの ID。
データベースアカウント	AnalyticDB for MySQL クラスターのデータベースアカウント。
データベースパスワード	AnalyticDB for MySQL クラスターのデータベースアカウントのパスワード。

上記のパラメーターを設定したら、[接続をテストして続行] をクリックします。「Zero-ETL の設定」ステップで、次の表に示すパラメーターを設定します。

パラメーター	説明
同期するDDLおよびDML操作	同期する DML 操作 ([挿入]、[更新]、[削除]) と DDL 操作 ([作成]、[変更]、[ドロップ]、[切り捨て])。デフォルトでは、すべての操作が選択されています。
ソースオブジェクトと選択されたオブジェクト	ソースオブジェクトと同期するオブジェクト。 Lindorm インスタンスでは、データベース全体またはテーブル全体のデータを同期することはできません。[選択したオブジェクト] セクションで、ソーステーブルの横にある [編集] をクリックし、同期する列を選択します。
詳細設定 (オプション)	ソースインスタンスと宛先インスタンス間の接続失敗時、および両者で発生するその他の問題に対する再試行時間。

上記のパラメーターを設定したら、データベース設定とテーブルのフィールド設定 をクリックし、次のパラメーターを設定します。

テーブルフィールド設定	説明
データベース名	既存のデータベースを選択します。
テーブル名	既存のテーブルを選択します。
プライマリキー列	選択したテーブルのプライマリキー列。
分散キー	選択したテーブルの分散キー列。
タイプ	テーブルのタイプ (パーティションテーブルとディメンションテーブルを含む)。
定義ステータス	テーブルフィールドを設定すると、ステータスが「未定義」から「定義済み」に変わります。

前述のすべてのパラメーターを設定した後、次：タスク設定の保存と事前チェック をクリックします。
事前チェックに合格したら、スタート をクリックしてゼロ ETL タスクを開始します。

[無料データ同期] ページでは、宛先 zero-ETL タスクの名前、移行元/移行先、および 動作状態 を表示できます。