DataWorks:AnalyticDB for MySQL をベースとした企業向けデータウェアハウスの構築

AnalyticDB for MySQL V3.0 データソースを追加する

1. データソース ページに移動します。

   1. DataWorks コンソール にログオンします。 上部のナビゲーションバーで、目的のリージョンを選択します。 左側のナビゲーションウィンドウで、[詳細] > [管理センター] を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[管理センターに移動] をクリックします。

   2. SettingCenter ページの左側のナビゲーションウィンドウで、[データソース] をクリックします。

2. [データソースの追加] ダイアログボックスで、[AnalyticDB For MySQL (V3.0)] をクリックします。

3. 表示されるページで、パラメーターを構成します。 詳細については、「AnalyticDB for MySQL 3.0 データソースを追加する」をご参照ください。

   説明

   • サーバーレス リソースグループ (推奨) または旧バージョンの専用スケジューリング リソースグループを使用して、AnalyticDB for MySQL ノードを実行し、VPC (Virtual Private Cloud) にデプロイされている AnalyticDB for MySQL クラスタにアクセスできます。 別の種類のリソースグループを使用して AnalyticDB for MySQL ノードを実行し、VPC にデプロイされている AnalyticDB for MySQL クラスタにアクセスすることはできません。 別の種類のリソースグループで AnalyticDB for MySQL ノードを実行して VPC にデプロイされている AnalyticDB for MySQL クラスタにアクセスすると、ノードと AnalyticDB for MySQL クラスタ間の接続がタイムアウトする可能性があります。 サーバーレス リソースグループの使用方法については、「サーバーレス リソースグループの作成と使用」をご参照ください。

   • AnalyticDB for MySQL V2.0 データソースを追加する場合は、現在の Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ペアを身分認証に使用する必要があります。

   • AnalyticDB for MySQL V3.0 データソースを追加する場合は、AnalyticDB for MySQL V3.0 データベースのユーザー名とパスワードを身分認証に使用する必要があります。 AnalyticDB for MySQL V3.0 データベースを作成した後、最初に AnalyticDB for MySQL コンソールでデータベースへの接続に使用するユーザー名とパスワードを作成する必要があります。

4. 目的のリソースグループを見つけ、[ネットワーク接続のテスト] をクリックします。

5. データソースがネットワーク接続テストに合格したら、[作成完了] をクリックします。

AnalyticDB for MySQL V3.0 データソースの IP アドレス ホワイトリストを構成する

AnalyticDB for MySQL V3.0 データソースは、IP アドレス ホワイトリストを使用してクライアントアクセスを制御します。 クライアント情報が IP アドレス ホワイトリストに含まれている場合にのみ、クライアントからのアクセスリクエストを許可します。

ワークフローを作成する

1. DataWorks コンソール にログオンします。 上部のナビゲーションバーで、目的のリージョンを選択します。 左側のナビゲーションウィンドウで、[データ開発と O&M] > [データ開発] を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発に移動] をクリックします。

2. DataStudio ページの上部ナビゲーションバーで、ポインターを [作成] アイコンの上に移動し、[ワークフローの作成] を選択します。 [ワークフローの作成] ダイアログボックスで、[ワークフロー名] パラメーターと [説明] パラメーターを構成します。

3. [作成] をクリックします。

バッチ同期ノードを作成する

1. 作成したワークフローをクリックし、[Data Integration] を右クリックして、[ノードの作成] > [オフライン同期] を選択します。

2. [ノードの作成] ダイアログボックスで、[名前] パラメーターを構成し、[確認] をクリックします。

3. バッチ同期ノードの [ソース] と [宛先] を構成します。

4. フィールドマッピング セクションで、ソースと宛先の間のフィールドマッピングを構成します。

   左側のソースのフィールドは、右側の宛先のフィールドと 1 対 1 でマッピングされています。 [行の追加] をクリックしてフィールドを追加できます。 既存のフィールドを削除するには、ポインターをフィールドの上に移動し、[削除] アイコンをクリックします。

5. チャネル制御ポリシーを構成します。

   最大伝送速度とダーティデータ チェックルールを構成します。

   パラメーター	説明
   タスクの予想最大同時実行数	同期ノードがソースからデータを読み取るか、宛先にデータを書き込むために使用できる並列スレッドの最大数。 コードレス UI でデータ同期ノードの並列処理を構成できます。
   同期レート	速度制限を有効にするかどうかを指定します。 ソースでの読み取りワークロードの増加を防ぐために、速度制限を有効にして最大伝送速度を指定できます。 ソースの構成に基づいて速度制限を有効にし、最大伝送速度を適切な値に設定することをお勧めします。
   ダーティデータ レコードのポリシー	許可されるダーティデータ レコードの最大数。
   分散実行	バッチ同期ノードの分散実行を有効にするかどうかを指定します。 共有リソースグループを使用していて、多数のノードが共有リソースグループで実行されている場合、ノードはリソースグループのリソースを待機する必要がある場合があります。 サーバーレス リソースグループを使用することをお勧めします。 詳細については、「サーバーレス リソースグループの作成と使用」をご参照ください。

6. 右側のナビゲーションウィンドウの [プロパティ] タブをクリックして、バッチ同期ノードのスケジューリングプロパティを構成します。

7. 構成が完了したら、 アイコンをクリックして構成を [保存] し、 アイコンをクリックしてノードを [コミット] します。

データ開発用のノードを作成する

1. 作成したワークフローをクリックし、[UserDefined] を右クリックして、[ノードの作成] > [AnalyticDB For MySQL] を選択します。

2. [ノードの作成] ダイアログボックスで、[名前] パラメーターを構成し、[確認] をクリックします。

3. 表示される構成タブで、関連するデータソースを選択し、AnalyticDB for MySQL でサポートされている構文に基づいて SQL 文を入力します。 DML (データ操作言語) 文または DDL (データ定義言語) 文を記述できます。

4. 右側のナビゲーションウィンドウの [プロパティ] タブをクリックして、AnalyticDB for MySQL ノードのスケジューリングプロパティを構成します。

5. 構成が完了したら、[保存] アイコンをクリックしてノード設定を保存します。 次に、[実行] アイコンをクリックして、記述した SQL 文を実行します。

データの O&M 操作を実行する

ノードをコミットしてデプロイすると、ノードはスケジューリングプロパティに基づいて定期的に実行されます。 ノードの構成タブの右上隅にある [オペレーションセンター] をクリックしてオペレーションセンターに移動し、ノードのスケジューリングステータスを表示できます。 詳細については、「自動トリガー タスクの表示と管理」をご参照ください。

メタデータを管理する

DataWorks コンソール にログオンします。 左側のナビゲーションウィンドウで、[データカタログ] > [データマップ] を選択してメタデータを管理します。 詳細については、「概要」をご参照ください。