DataWorks の DRDS ノードを使用すると、DRDS タスクの開発、定期実行、および他のジョブとの統合が可能です。本トピックでは、DRDS ノードを用いたタスク開発手順について説明します。
背景情報
Distributed Relational Database Service (DRDS) は、リレーショナルデータベースを分散システムへ水平スケールするための分散データベースサービスです。DRDS は、MySQL などの従来のリレーショナルデータベースの機能を維持しつつ、大規模なデータストレージおよびアクセスをサポートします。詳細については、「DRDS プロダクト概要」をご参照ください。
前提条件
ビジネスフローを作成します。
DataStudio では、開発がビジネスフロー単位で管理されます。ノードを作成する前に、必ずビジネスフローを作成してください。詳細については、「ワークフローの作成」をご参照ください。
DRDS データソースが作成されます。
ご利用の DRDS データベースを DataWorks に DRDS データソースとして登録する必要があります。これにより、データソース経由でデータベース内のデータにアクセスできます。データソースの作成方法については、「データソース管理」をご参照ください。DataWorks における DRDS データソースの利用方法については、「DRDS (PolarDB-X 1.0) データソース」をご参照ください。
説明DRDS ノードは、Java Database Connectivity (JDBC) 接続文字列を使用して作成された DRDS データソースのみをサポートします。
データソース と リソースグループ 間のネットワーク接続が確立されます。
データソースが使用するリソースグループに正常に接続できることを確認してください。ネットワーク接続の設定方法については、「ネットワーク接続ソリューション」をご参照ください。
(任意:RAM ユーザーの場合のみ必須)RAM ユーザーをワークスペースに追加し、開発者 または ワークスペース管理者 ロールを割り当てます。ワークスペース管理者ロールは権限が高いため、付与には十分な注意が必要です。詳細については、「ワークスペースへのメンバー追加」をご参照ください。
制限事項
対応リージョン:中国 (杭州)、中国 (上海)、中国 (北京)、、中国 (深セン)、中国 (成都)、中国 (香港)、シンガポール、マレーシア (クアラルンプール)、ドイツ (フランクフルト)、米国 (シリコンバレー)、米国 (バージニア)。
ステップ 1:DRDS ノードの作成
DataStudio ページに移動します。
DataWorks コンソール にログインします。上部ナビゲーションバーから対象のリージョンを選択します。左側ナビゲーションウィンドウで、 を選択します。表示されるページで、ドロップダウンリストから対象のワークスペースを選択し、データ開発へ移動 をクリックします。
対象のビジネスフローを右クリックし、 を選択します。
ノードの作成 ダイアログボックスで、ノードの 名前 を設定し、OK をクリックします。
ステップ 2:DRDS タスクの開発
(任意)DRDS データソースの選択
ワークスペース内に複数の DRDS データソースが存在する場合、ノード編集ページで必要なデータソースを選択する必要があります。DRDS データソースが 1 つのみの場合、デフォルトでそのデータソースが開発に使用されます。
DRDS ノードは、Java Database Connectivity (JDBC) 接続文字列を使用して作成された DRDS データソースのみをサポートします。
SQL コードの開発:シンプルな例
DRDS ノードのコードエディタで、実行したいタスクのコードを記述します。以下のコードは一例です。
SELECT * FROM usertablename;SQL コードの開発:スケジューリングパラメーターの使用
DataWorks では、定期実行シナリオにおいてコード内の変数に動的に値を渡すために使用できる スケジューリングパラメーター を提供しています。ノードタスク内で、${変数名} の形式で変数を定義できます。その後、ノード編集ページの右側ナビゲーションペインにある スケジュール タブを開き、スケジューリングパラメーター セクションで該当変数に値を割り当てます。サポートされるスケジューリングパラメーターのフォーマットおよび設定方法については、「スケジューリングパラメーターのサポートフォーマット」および「スケジューリングパラメーターの設定と使用」をご参照ください。
以下のコードは一例です。
SELECT '${var}'; -- スケジューリングパラメーターと併用可能です。ステップ 3:タスクのスケジュール設定
タスクをスケジュールするには、右側の スケジュール構成 をクリックしてプロパティを設定します。詳細については、「概要」をご参照ください。
提出前に、再実行プロパティ および 上流依存ノード を設定してください。
ステップ 4:タスクコードのデバッグ
タスクが正しく実行されることを確認するためにデバッグを行います。
(任意)デバッグ用のリソースグループを選択し、パラメーター値を割り当てます。
ツールバーの
アイコンをクリックします。パラメーター ダイアログボックスで、リソースグループを選択します。デバッグ用にスケジューリングパラメーターの値を割り当てます。パラメーター割り当てのロジックについては、「タスクデバッグプロセス」をご参照ください。
タスクコードを保存して実行します。
アイコンをクリックして保存し、その後
アイコンをクリックして実行します。(任意)スモークテストを実行します。
提出中または提出後にスモークテストを実行し、開発環境での実行を検証します。詳細については、「スモークテストの実施」をご参照ください。
ステップ 5:タスクの提出および公開
スケジュールを有効化するため、ノードを提出および公開します。
ツールバーの
アイコンをクリックしてノードを保存します。ツールバーの
アイコンをクリックしてノードタスクを提出します。提出 ダイアログボックスで、変更内容の説明 を入力し、コードレビューのオプションを選択します。
説明提出前に、再実行プロパティ および 上流依存ノード を設定してください。
コードレビューは品質保証のための仕組みです。有効化した場合、公開前にレビュアーによる承認が必要になります。詳細については、「コードレビュー」をご参照ください。
標準モードのワークスペースでは、右上隅の 公開 をクリックして本番環境へデプロイします。詳細については、「タスクの公開」をご参照ください。
次のステップ
タスクが提出・公開されると、ノードの構成に基づいて定期的に実行されます。ノード構成タブの右上隅にある 運用管理 をクリックすると、オペレーションセンターに移動できます。オペレーションセンターでは、定期実行タスクのスケジュール状態および実行状態を確認できます。詳細については、「定期実行タスクの管理」をご参照ください。