このトピックでは、DataphinでデータベースSQLタスクを作成する方法について説明します。
制限事項
ストアドプロシージャを作成して実行できますが、Dataphinは構文の検証や解析を行いません。
データベースSQLを実行するには、データソースの実行権限が必要です。テーブルレベルの権限検証はサポートされていません。詳細については、「データソース権限の申請、更新、返却」をご参照ください。
MySQLまたはOracleデータソースに基づくSQLデータ更新によるデータソース品質ルールのトリガーはサポートされていません。詳細については、「データソース品質ルールの作成」をご参照ください。
クエリ結果の完全ダウンロードはサポートされていません。サンプルデータのダウンロードのみがサポートされています。
オフライン コンピューティング テンプレート ノード タイプでは、データベース SQL はサポートされていません。
開発-本番モード プロジェクトで本番環境専用に構成されたデータソースを使用する場合、開発環境でのデータ バックフィルまたは実行操作によって本番データが変更される可能性があります。注意して使用してください。
手順
Dataphinホームページの上部ナビゲーションバーで、[開発] > [データ開発] を選択します。
[開発] ページの上部ナビゲーションバーで、[プロジェクト] を選択します(開発-本番モードの場合は、環境を選択する必要があります)。
左側のナビゲーションウィンドウで、[データ処理] > [スクリプトタスク] を選択します。[スクリプトタスク] リストで、
アイコンをクリックし、[データベース Sql] を選択します。[データベースSQLタスクの作成] ダイアログボックスで、次のパラメーターを構成します。
パラメーター
説明
基本情報
タスク名
コード タスクの名前を入力します。
名前は 256 文字を超えることはできず、縦棒(|)、スラッシュ(/)、バックスラッシュ(\)、コロン(:)、疑問符(?)、山かっこ(<>)、アスタリスク(*)、または二重引用符(")を含めることはできません。
スケジュールタイプ
タスクのスケジュール タイプを選択します。 [スケジュール タイプ] には以下が含まれます。
定期タスク: システムの定期スケジュールに自動的に参加します。
ワンタイム タスク: 実行するには手動でトリガーする必要があります。
ディレクトリの選択
タスクを保存するディレクトリを選択します。
ディレクトリが存在しない場合は、次のように [フォルダの作成] を行います。
ページ左側のコンピューティングタスクリストの上にある
アイコンをクリックして、[フォルダの作成] ダイアログボックスを開きます。[フォルダの作成] ダイアログボックスで、必要に応じてフォルダの 名前 と ディレクトリの選択 の場所を入力します。
[OK] をクリックします。
テンプレートの使用
[テンプレートの使用] スイッチをオンにして、コードテンプレートを使用するかどうかを指定します。このスイッチをオンにする場合は、[テンプレート] と [テンプレートバージョン] も選択する必要があります。デフォルトでは、選択したテンプレートの最新バージョンが使用されます。
コードテンプレートを参照して、開発効率を向上させます。テンプレートタスクのコードは読み取り専用です。テンプレートパラメーターを構成するだけで、コード開発を完了できます。詳細については、「オフラインコンピューティングテンプレートの作成」をご参照ください。
説明AnalyticDB for PostgreSQL、StarRocks、Doris、SelectDB、または GaussDB (DWS) のデータソースを使用するデータベース SQL タスクがオフラインコンピューティングテンプレートを参照した後、タスクタイプは変更できません。
説明
タスクの簡単な説明を 1,000 文字以内で入力します。
データソースの構成
データソースタイプ
SQL タスクのデータソースタイプを選択します。サポートされているデータソースタイプの詳細については、「Dataphin がサポートするデータソース」の [オフライン R&D - データベース SQL] 列をご参照ください。
テンプレートを使用する場合、データソースタイプはテンプレートのものに自動的に設定され、変更することはできません。
データソース
SQLタスクのデータソースを選択します。使用可能なデータソースがない場合は、[+データソースの作成] をクリックして作成できます。
テンプレートを使用する場合、データソースはテンプレートのものに自動的に設定されますが、別のものを選択することもできます。
カタログ
データソースタイプを Presto または Trino に設定した場合は、データソースを構成した後にカタログも構成する必要があります。
データベース/スキーマ
データソースタイプを [AnalyticDB for PostgreSQL]、[Oracle]、[Presto]、[GaussDB (DWS)]、[Microsoft SQL Server]、[Hologres]、[openGauss]、[DM]、[OceanBase (Oracle テナントモード)]、[Trino]、または [PolarDB-X 2.0] に設定した場合は、データソースを構成した後にスキーマも構成する必要があります。
テンプレートを使用する場合、スキーマはテンプレートのものに自動的に設定されますが、別のものを選択することもできます。
[OK] をクリックします。
データベース SQL タスクのタブで、コードエディタにオフラインデータベース SQL タスクのコードを記述します。データベース SQL は、ノード間の出力パラメーターをサポートしています。詳細については、「ノード間の出力パラメーターに値を割り当てる」と「ノード間パラメーターのベストプラクティス」をご参照ください。コードを記述したら、コードエディタの上にある [実行] をクリックします。
右側のサイドバーの [プロパティ] をクリックします。 [プロパティ] パネルで、タスクの [基本情報]、[ランタイム パラメーター]、[スケジュール プロパティ](定期タスクの場合)、[スケジュール依存関係](定期タスクの場合)、[実行構成]、[リソース構成] を構成します。
基本情報
スケジュール タスクの名前、責任者、説明などの基本情報を定義するために使用します。構成手順については、「基本的なタスク情報の構成」をご参照ください。
ランタイムパラメーター
タスクがパラメーター変数を呼び出す場合、プロパティでパラメーターに値を割り当てることができます。これにより、ノードがスケジュールされると、パラメーター変数が対応する変数値に自動的に置き換えられます。構成手順については、「パラメーターの構成とノード パラメーターの使用」をご参照ください。
スケジューリングプロパティ(定期タスクの場合)
オフライン コンピューティング タスクのスケジュール タイプが 定期タスク の場合、基本情報 に加えて、タスクのスケジュール プロパティも構成する必要があります。構成手順については、「スケジュール プロパティの構成」をご参照ください。
スケジュール依存関係(定期タスクの場合)
オフライン コンピューティング タスクのスケジュール タイプが 定期タスク の場合、基本情報 に加えて、タスクのスケジュール依存関係も構成する必要があります。構成手順については、「スケジュール依存関係の構成」をご参照ください。
重要システムによる自動依存関係解析は正確でない場合があります。コードに基づいて確認してください。
実行構成
ビジネス シナリオに基づいて、タスクレベルの実行タイムアウトとタスク障害の再試行ポリシーを構成できます。構成しない場合は、テナント レベルで設定されたデフォルト値が継承されます。構成手順については、「コンピューティング タスクの実行構成」をご参照ください。
リソース構成
タスク スケジュールから生成されたインスタンスによって消費されるリソース。異なるリソース グループ間のリソースは分離されており、互いに影響を与えません。データベース SQL は共有リソース タスクであり、カスタム リソース グループの指定はサポートしていません。構成手順については、「コンピューティング タスクのリソース構成」をご参照ください。
現在のデータベースSQLタスク タブで、現在のタスクを保存して送信します。
コード編集領域の上にある
アイコンをクリックして、コードを保存します。コード編集領域の上にある
アイコンをクリックして、コードを送信します。
[ログの送信中] ページで、[送信コンテンツ] と [事前チェック] の結果を確認し、備考を入力します。詳細については、「オフライン コンピューティング タスクの送信手順」をご参照ください。
確認後、[OKして送信] をクリックします。
次の手順
開発モードが 開発-本番モード の場合、タスクが正常に送信された後、リリース リストに移動して タスクを本番環境に公開 する必要があります。詳細については、「リリース タスクの管理」をご参照ください。
開発モードが 基本モード の場合、正常に送信されたデータベースSQLタスクは本番環境のスケジュールに参加できます。オペレーションセンターに移動して、公開済みのタスクを表示できます。詳細については、「スクリプト タスクの表示と管理」、「ワンタイム タスクの表示と管理」をご参照ください。
付録: タスクタイプの変更
データソースとして AnalyticDB for PostgreSQL、StarRocks、Doris、SelectDB、または GaussDB (DWS) を使用するデータベース SQL タスクの場合、そのタイプを対応するオフラインコンピューティングエンジンの SQL タスク (ADB_PG_SQL、STARROCKS_SQL、DORIS_SQL、SELECTDB_SQL、GAUSSDB_SQL など) に変更できます。
Dataphin ホームページのトップメニューバーで、[開発] > [データ開発] を選択します。
[開発] ページで、トップメニューバーからプロジェクトを選択します。Dev-Prod モードの場合は、環境も選択する必要があります。
左側のナビゲーションウィンドウで、[データ処理] > [スクリプトタスク] を選択します。[スクリプトタスク] リストで、ターゲットのデータベース SQL タスクを選択します。
データベース SQL タスクの横にある
アイコンをクリックし、[タスクタイプの変更] を選択します。[タスクタイプの変更] ダイアログボックスで、[OK] をクリックしてタスクタイプを切り替えます。
タスクタイプを切り替えた後も、オーナー、スケジューリング設定、アップストリームおよびダウンストリームの依存関係などのタスクプロパティは変更されません。
データベース SQL タスクがオフラインコンピューティングテンプレートを使用している場合、タスクタイプは変更できません。
現在のプロジェクトに対応する SQL タスクタイプがない場合、データベース SQL タスクを対応するオフラインコンピューティングエンジンの SQL タスクに変更することはできません。
データベース SQL タスクを同じエンジンタイプの SQL タスクに変換した後、データベース SQL タスクにロールバックできます。詳細については、「オフラインタスクの履歴バージョンの表示と管理」をご参照ください。