DataWorks:AnalyticDB for MySQL を使用したエンタープライズデータウェアハウスの構築

AnalyticDB for MySQL 3.0 データソースの設定

1. 1. DataWorks コンソールにログインします。対象のリージョンで、左側のナビゲーションウィンドウで さらに表示 > 管理センター をクリックします。ドロップダウンリストからワークスペースを選択し、入力 管理センターします。

   2. [ワークスペース管理] ページで、左側のナビゲーションウィンドウにある [データソース] をクリックして、データソースページを開きます。

2. Add Connection ダイアログボックスで、データソースタイプとして [AnalyticDB for MySQL (V3.0)] を選択します。

3. AnalyticDB for MySQL 3.0 データソースのパラメーターを設定します。詳細については、「AnalyticDB for MySQL 3.0 データソースの設定」をご参照ください。

   説明

   • VPC 内の AnalyticDB for MySQL インスタンスにアクセスする AnalyticDB for MySQL ノードタスクを実行するには、サーバーレスリソースグループ (推奨) または専用スケジューリングリソースグループを使用します。他のタイプのリソースグループはインスタンスにアクセスできず、接続タイムアウトが発生します。サーバーレスリソースグループの詳細については、「サーバーレスリソースグループの使用」をご参照ください。

   • AnalyticDB for MySQL V2.0 は、認証にご利用のアカウントの AccessKey ペアを使用します。

   • AnalyticDB for MySQL V3.0 は、認証にデータベースのユーザー名とパスワードを使用します。V3.0 データベースをアクティベートした後、まずコンソールでユーザー名とパスワードを作成する必要があります。

4. テスト接続 をクリックします。

5. 接続テストに合格したら、Complete をクリックします。

AnalyticDB for MySQL 3.0 のホワイトリストの設定

AnalyticDB for MySQL V3.0 はユーザー名とパスワードによる認証を使用します。データベース接続を許可するには、クライアントホワイトリストを設定する必要があります。

ワークフローの作成

1. DataWorks コンソールにログインします。リージョンを選択し、左側のナビゲーションウィンドウで データ開発と О&М > DataStudio を選択します。ドロップダウンリストからワークスペースを選択し、データ分析 をクリックします。

2. [データ開発] ページの上部ナビゲーションバーで、Create > Create Workflow をクリックします。Create Workflow ページが開きます。ダイアログボックスで、Workflow Name と Description を入力します。

3. Create をクリックします。

バッチ同期タスクの作成

1. ワークフローで、Data Integration を右クリックし、Create > オフライン同期 を選択します。

2. Create Node ダイアログボックスで、Name を入力し、Submission をクリックします。

3. Data Source と Destination を設定します。

4. フィールドマッピングを設定します。

   左側のソースフィールドと右側の宛先フィールドは 1 対 1 でマッピングされます。行を追加する をクリックしてフィールドを追加します。フィールドを削除するには、フィールドにカーソルを合わせ、Delete アイコンをクリックします。

5. チャネルコントロールを設定します。

   最大ジョブレートとダーティデータの処理ルールを設定します。

   パラメーター	説明
   Expected Maximum Concurrency	ソースからのデータ読み取り、または宛先へのデータ書き込みのための最大並行スレッド数。ウィザードモードでは、UI で並行スレッド数を指定して、タスクの並列度を制御します。
   Bandwidth Throttling	ソースデータベースが過度なデータ抽出速度によって過負荷になるのを防ぐために、同期レートを設定します。ソースデータベースの設定に基づいて、適切なデータ抽出レートを設定してください。
   Policy for Dirty Data Records	許可されるダーティデータレコードの最大数。
   Distributed Execution	タスクを実行するリソースグループを選択します。タスク数が多く、デフォルトのリソースグループでリソース競合が発生する場合は、サーバーレスリソースグループの購入を検討してください。詳細については、「サーバーレスリソースグループの使用」をご参照ください。

6. 右側のパネルで、Scheduling Settings をクリックして、ノードのスケジューリングプロパティを設定します。

7. 設定が完了したら、 アイコンをクリックしてノードを Save し、次に アイコンをクリックしてタスクを Submission します。

データ開発タスクの作成

1. ワークフローで、Custom を右クリックし、Create > [AnalyticDB for MySQL] を選択します。

2. Create Node ダイアログボックスで、ノードの Node Name を入力し、Submission をクリックします。

3. 適切なデータソースを選択し、AnalyticDB for MySQL がサポートする構文に基づいて SQL ステートメントを記述します。データ操作言語 (DML) とデータ定義言語 (DDL) のステートメントがサポートされています。

4. 右側のパネルで Scheduling Settings をクリックして、ノードのスケジューリングプロパティを設定します。ノードエディターで、[スケジューリング依存関係] セクションをクリックして依存関係を設定します。[コードから依存関係を解析] をクリックすると、上流の依存関係が自動的に解決されます。また、[上流の依存関係] セクションで上流ノードの出力を手動で検索して [追加] することもできます。[サイクル間の依存関係] セクションでは、必要に応じて [現在のノード]、[レベル 1 の子ノード]、または [その他のノード] を選択します。[現在のノードの出力名] セクションで、現在のノードの出力情報を確認または追加します。

5. 設定が完了したら、Save アイコンをクリックしてノードを保存します。次に、Run アイコンをクリックして SQL ステートメントをすぐに実行します。

運用保守

タスクをコミットしてデプロイすると、そのスケジューリングプロパティに基づいて定期的に実行されます。ノード編集ページの右上隅にある O&M をクリックすると、定期タスクのスケジューリングと実行ステータスを表示できます。詳細については、「定期タスクの管理」をご参照ください。

メタデータ管理

DataWorks コンソールに移動し、Data Governance > DataMap を選択してメタデータを管理します。詳細については、「Data Map の概要」をご参照ください。