このトピックでは、Dataphin でデータベース SQL タスクを作成する方法について説明します。
制限事項
Dataphin はストアドプロシージャの作成と実行をサポートしていますが、構文の検証や解析は行いません。
データベース SQL タスクを実行するには、データソースに対する実行権限が必要です。テーブルレベルの権限チェックはサポートされていません。詳細については、「データソース権限の申請、更新、返却」をご参照ください。
MySQL および Oracle データソースの場合、SQL データ更新は定期的な品質ルールをトリガーしません。詳細については、「データソースの品質ルールの作成」をご参照ください。
完全なクエリ結果をダウンロードすることはできません。サンプルデータのみダウンロードできます。
オフラインコンピューティングテンプレートのノードタイプは、データベース SQL タスクをサポートしていません。
Dev-Prod モードを使用するプロジェクトで、本番環境専用に設定されたデータソースを使用する場合、開発環境での実行またはバックフィルによって本番データが変更される可能性があります。操作には十分ご注意ください。
操作手順
Dataphin のホームページの上部メニューバーで、[開発] > [データ開発] を選択します。
[開発] ページで、上部のメニューバーから [プロジェクト] を選択します。プロジェクトが Dev-Prod モードの場合は、環境も選択する必要があります。
左側のナビゲーションウィンドウで、[データ処理] > [コンピューティングタスク] を選択します。[コンピューティングタスク] リストで、
アイコンをクリックし、[データベース SQL] を選択します。[データベース SQL タスクの作成] ダイアログボックスで、次のパラメーターを設定します。
パラメーター
説明
[基本情報]
[タスク名]
タスクの名前を入力します。
名前は最大 256 文字で、縦棒 (|)、スラッシュ (/)、バックスラッシュ (\)、コロン (:)、疑問符 (?)、山括弧 (<>)、アスタリスク (*)、二重引用符 (") を含めることはできません。
スケジューリングタイプ
タスクの [スケジューリングタイプ] を選択します。
[定期タスク]:タスクは定期スケジュールに基づいて自動的に実行されます。
[手動タスク]:タスクは手動でトリガーする必要があります。
ディレクトリの選択
タスクを保存するディレクトリを選択します。
ディレクトリが存在しない場合は、[新しいフォルダー] をクリックして作成できます。
左側のコンピューティングタスクリストの上にある
アイコンをクリックして、[新しいフォルダー] ダイアログボックスを開きます。[新しいフォルダー] ダイアログボックスで、フォルダーの [名前] を入力し、[ディレクトリの選択] を使用してその場所を指定します。
[OK] をクリックします。
テンプレートを使用
コードテンプレートを使用するには、[テンプレートの使用] スイッチをオンにします。このオプションを オン にした場合は、[テンプレートの選択] と [テンプレートバージョン] も指定する必要があります。デフォルトでは、選択したテンプレートの最新バージョンが使用されます。
コードテンプレートを使用すると、効率的な開発が可能になります。テンプレートタスク内のコードは読み取り専用です。テンプレートパラメーターを設定するだけで、コード開発を完了できます。詳細については、「オフラインコンピューティングテンプレートの作成」をご参照ください。
説明データベース SQL コンピューティングタスクがオフラインコンピューティングテンプレートを使用し、そのデータソースが AnalyticDB for PostgreSQL、StarRocks、Doris、SelectDB、または GaussDB (DWS) の場合、タスクタイプは変更できません。
[説明]
タスクの簡単な説明を入力します (最大 1,000 文字)。
[データソース設定]
データソースタイプ
データソースタイプを選択します。利用可能なデータソースタイプのリストについては、「Dataphin がサポートするデータソース」の [オフライン開発 - データベース SQL] 列をご参照ください。
テンプレートを使用する場合、データソースタイプはテンプレートのデータソースタイプと一致するように自動的に設定され、変更することはできません。
データソース
SQL タスクのデータソースを選択します。利用可能なデータソースがない場合は、[+ 新しいデータソース] をクリックして作成します。
テンプレートを使用する場合、データソースはテンプレートのデータソースと一致するように自動的に設定されますが、別のデータソースを選択することもできます。
カタログ
データソースタイプが Presto または Trino の場合は、カタログも設定する必要があります。
データベース/スキーマ
データソースタイプが MySQL、PostgreSQL、AnalyticDB for PostgreSQL、Oracle、Presto、GaussDB (DWS)、Microsoft SQL Server、ClickHouse、Hologres、Doris、openGauss、StarRocks、DM、OceanBase (Oracle テナントモード)、SelectDB、Trino、PolarDB-X 2.0、Lindorm、TDSQL for MySQL、または TDSQL for PostgreSQL の場合は、データベース/スキーマも設定する必要があります。
テンプレートを使用する場合、データベース/スキーマはテンプレートのデータソーススキーマと一致するように自動的に設定されますが、別のものを選択することもできます。
[OK] をクリックします。
データベース SQL タスクタブのコードエディタで、タスクのコードを記述します。データベース SQL は、ノード間出力パラメーターをサポートしています。詳細については、ノード間出力パラメーターへの値の割り当て および ノード間パラメーターのベストプラクティス をご参照ください。コードの記述が完了したら、コードエディタの上にある [実行] をクリックします。
右側のペインで [プロパティ] をクリックします。[プロパティ] パネルで、タスクの [基本情報]、[実行時パラメーター]、[スケジューリングプロパティ] (定期タスク用)、[スケジューリングの依存関係] (定期タスク用)、[実行設定]、および [リソース設定] を設定します。
[基本情報]
タスクの名前、所有者、説明などの基本情報を設定します。詳細については、「タスクの基本情報の設定」をご参照ください。
[実行時パラメーター]
タスクがパラメーター変数を使用する場合、プロパティでそれらに値を割り当てることができます。ノードがスケジュールされると、変数は自動的に対応する値に置き換えられます。詳細については、「ノードパラメーターの設定と使用」をご参照ください。
[スケジューリングプロパティ] (定期タスク用)
オフラインコンピューティングタスクのスケジューリングタイプが [定期タスク] の場合、[基本情報] に加えて、スケジューリングプロパティを設定する必要があります。詳細については、「スケジューリングプロパティの設定」をご参照ください。
[スケジューリングの依存関係] (定期タスク用)
オフラインコンピューティングタスクのスケジューリングタイプが [定期タスク] の場合、[基本情報] に加えて、スケジューリングの依存関係を設定する必要があります。詳細については、「スケジューリングの依存関係の設定」をご参照ください。
重要システムの自動依存関係解析は不正確な場合があります。コードに基づいて依存関係を確認してください。
[実行設定]
タスクレベルのタイムアウトとリトライポリシーを設定できます。設定しない場合、タスクはテナントレベルのデフォルト設定を継承します。詳細については、「コンピューティングタスクの実行設定」をご参照ください。
[リソース設定]
タスクのスケジュールされたインスタンスによって消費されるリソースを指定します。リソースは異なるリソースグループ間で分離されます。データベース SQL タスクは共有リソースタスクであり、カスタムリソースグループの指定はサポートしていません。詳細については、「コンピューティングタスクのリソース設定」をご参照ください。
タスクを保存してコミットします。
コードエディタの上にある
アイコンをクリックして、コードを保存します。コードエディタの上にある
アイコンをクリックして、コードをコミットします。
[コミットの詳細] ページで、[コミットするコンテンツ] と [事前チェック] の結果を確認し、備考を入力します。詳細については、「オフラインコンピューティングタスクのコミット」をご参照ください。
詳細を確認した後、[OK してコミット] をクリックします。
次のステップ
Dev-Prod モード を使用している場合、タスクをコミットした後、リリースリストから タスクを本番環境に公開する 必要があります。詳細については、「リリースタスクの管理」をご参照ください。
開発モードが 基本モード の場合、データベース SQL タスクは正常に送信された後、本番環境のスケジューリングに含まれます。O&M センターに移動して、公開されたタスクを表示できます。詳細については、「スクリプトタスクの表示と管理」、「手動タスクの表示と管理」をご参照ください。
付録:タスクタイプの変更
データベース SQL コンピューティングタスクのデータソースタイプが AnalyticDB for PostgreSQL、StarRocks、Doris、SelectDB、または GaussDB (DWS) の場合、タスクタイプを対応するオフラインコンピューティングエンジン SQL タスクタイプ (AnalyticDB for PostgreSQL SQL、StarRocks SQL、Doris SQL、SelectDB SQL、GaussDB_SQL など) に変更できます。
Dataphin のホームページの上部メニューバーで、[開発] > [データ開発] を選択します。
[開発] ページで、上部のメニューバーから [プロジェクト] を選択します。Dev-Prod モードの場合は、環境も選択する必要があります。
左側のナビゲーションウィンドウで、[データ処理] > [コンピューティングタスク] を選択し、[コンピューティングタスク] リストから対象のデータベース SQL タスクを選択します。
データベース SQL タスクの横にある
アイコンをクリックし、[タスクタイプの変更] を選択します。[タスクタイプの変更] ダイアログボックスで、[OK] をクリックしてタスクタイプを切り替えます。
タスクタイプの変更は、所有者、スケジューリング設定、上流および下流の依存関係などのタスクプロパティには影響しません。
データベース SQL タスクがオフラインコンピューティングテンプレートを使用している場合、そのタスクタイプは変更できません。
現在のプロジェクトに対応する SQL コンピューティングタスクタイプが存在しない場合、タスクをそのオフラインコンピューティングエンジン SQL タスクタイプに変更することはできません。
タスクを変換した後、バージョンロールバックを実行してデータベース SQL タスクに戻すことができます。詳細については、「オフラインタスクの履歴バージョンの表示と管理」をご参照ください。