Dataphin 開発プラットフォームの設定 - Dataphin - Alibaba Cloud ドキュメントセンター

制限事項

[ストレージサイズ更新設定] 機能は、コンピューティングエンジンが E-MapReduce 3.x、E-MapReduce 5.x、CDH 5.x、CDH 6.x、FusionInsight 8.x、Cloudera Data Platform 7.x、AsiaInfo DP 5.3、ArgoDB、Transwarp TDH 6.x、StarRocks、SelectDB、または Doris の場合にのみ使用できます。
SelectDB および Doris コンピューティングエンジンは、[テーブル管理設定] または [標準モデリング用のデフォルトコンピューティングエンジン] をサポートしていません。

権限

開発プラットフォーム設定の管理権限を持つカスタムロール、またはスーパー管理者もしくはシステム管理者ロールが必要です。

開発プラットフォームへのアクセス

Dataphin ホームページの上部のナビゲーションバーで、[管理センター] > [システム設定] を選択します。
左側のナビゲーションペインで、[プラットフォーム設定] > [開発プラットフォーム] を選択します。

編集ロック

[編集ロック] セクションで、編集アイコンをクリックし、排他編集ロックを有効にして、ロックを設定します。

パラメーター	説明
[排他編集ロック]	無効にすると、ユーザーは互いのロックをオーバーライドできます。有効にすると、ロックが解放されるか期限切れになるまで、ロックされたオブジェクトを他のユーザーが編集できなくなります。
[ロック期間]	指定された無操作期間が経過すると、ロックは失効します。デフォルト： [30 分]。範囲： [5 分]～[120 分]。
[オブジェクトが閉じられたときに自動的に解放]	オブジェクトの編集タブを閉じると、ロックが解放されます。
[コミット成功時に自動的にリリース]	コミットが成功すると、ロックが解放されます。コミットが失敗した場合は、ロックは解放されません。

[OK] をクリックします。

リセットするには、[デフォルトに戻す] をクリックします。

ストレージサイズの更新設定

Hive は、統合タスクまたはリアルタイムタスクによって HDFS に書き込まれたテーブルのストレージサイズを自動更新しないため、データカタログに現在のサイズが反映されない場合があります。Dataphin は、タスク完了後に ANALYZE コマンドを自動実行して、最新のストレージデータを取得できます。

[ストレージサイズ更新設定] セクションで [編集] アイコンをクリックし、ストレージサイズの自動更新を有効にして、同時接続を設定します。
- [自動ストレージサイズ更新]: デフォルトでは無効です。有効にすると、Dataphin はタスクが成功するたびにターゲットの Hive テーブルで ANALYZE コマンドを実行して、ストレージサイズを更新します。Hive サーバーに十分な容量がある場合は、同時接続数を増やすと実行時間を短縮できます。同時実行性が高いと、大量のコンピューティングリソースが消費され、他のタスクに影響する可能性があります。
- [最大接続数]：ANALYZE コマンドの最大同時接続数です。デフォルト値は 5 で、1～200 の範囲で設定できます。
  
  重要
  24 時間を超えて実行中または保留中の ANALYZE コマンドは自動的に終了します。
[OK] をクリックします。
説明
- ストレージサイズの自動更新を有効にして [OK] をクリックすると、同時接続の設定は直ちに有効になります。同時実行性が高いと、大量のコンピューティングリソースを消費し、実行中のタスクに影響する可能性があります。
- ストレージサイズの自動更新を無効にした場合でも、実行中または保留中の ANALYZE コマンドは継続されます。その後のタスクでは自動更新はトリガーされません。Hive で ANALYZE コマンドを手動で実行して、ストレージサイズを更新してください。

ノードタスク設定

[ノードタスク設定] エリアで [編集] をクリックして、デフォルトのスケジューリング時間とコミットルールを設定します。

[作成]

パラメーター		説明
[デフォルトの優先度]		新規の統合、コンピュート、および論理テーブルタスクのデフォルトの優先度です。オプション： [最低]、[低]、または [中] (デフォルト)。
[デフォルトのスケジューリング時間]	[間隔内でランダム]	デフォルトの時間間隔は [00:00–03:00] で、デフォルトのランダム間隔は [5] 分です。終了時刻は開始時刻より後にする必要があります。フォーマット： hh:mm (00:00–23:59)。ランダムな時間間隔は 1 から 30 までの整数である必要があります。
	[固定時刻]	デフォルトの固定時刻は [00:00] です。フォーマット： hh:mm (00:00–23:59)。
[デフォルトの Python バージョン]		コンピュートタスク、オフラインテンプレート、およびサードパーティパッケージのデフォルトの Python バージョン。オプション： [Python 2.7]、[Python 3.7] (デフォルト)、または [Python 3.11]。

説明

デフォルトでは、デフォルトのスケジューリング時間 は 間隔内でランダム に設定されています。必要に応じて 固定時刻 に変更できます。
オフラインタスク (統合、コンピュート、または論理テーブル) を作成すると、この設定に基づいてスケジューリング時間が設定されます。
- デフォルトのスケジューリング時間 が 間隔内でランダム に設定されている場合、設定されたルールに基づいてランダムな時刻が選択されます。
- デフォルトのスケジューリング時間 が 固定時刻 に設定されている場合、設定された時刻が使用されます。

[実行]

[SQL にアカウントとパスワードのグローバル変数が含まれている場合に Logview URL を非表示にする]： SQL 内のアカウントとパスワードのグローバル変数が MaxCompute の Logview URL にプレーンテキストで表示されるのを防ぎます。デフォルトでは無効になっています。

このオプションを 有効にする と、アカウントとパスワードのグローバル変数を使用する MAXCOMPUTE_SQL および論理テーブルタスクの実行、データプレビュー、および O&M ログで Logview URL が非表示になります。URL は次のように置き換えられます： The logview url is invisible because the current SQL is using the global variable "{dp_glb_xxx}", which is of type account and password.。

説明
MaxCompute コンピュートエンジンでのみ利用できます。

[コミット]

パラメーター	説明
[オフライン開発オブジェクトのコミット時に依存関係を自動的に解析する]	有効にすると、オフラインオブジェクト (SQL コンピュートタスク、論理テーブルタスク) のコミットごとに、システムがアップストリーム依存関係を解析して更新します。これにより、依存関係の欠落を防ぎます。
[論理テーブルのコミット時にフィールドのデータ型を検証する]	有効にすると、論理テーブルのコミット時に、フィールド計算の戻り値の型が宣言されたデータ型と一致することを検証します。不一致があると、暗黙の型変換エラーを防ぐためにコミットがブロックされます。

[使用停止と削除]

[開発環境で公開済みオブジェクトの削除を許可する]：有効にすると、公開済みオブジェクト (コンピュートタスク、統合タスク、論理テーブル、アトミックメトリック、ビジネス修飾子、派生メトリック) を開発環境から削除できます。

重要
削除されたオブジェクトは復元できません。削除を公開せずに開発環境でオブジェクトを削除すると、本番オブジェクトは変更できなくなります。

[デフォルトの依存期間とポリシー]

[デフォルトの依存期間] と [デフォルトの依存ポリシー] を変更します。

[デフォルトの依存期間]：オプション： [現在の期間 (日)]、 [前の期間 (日)]、 [過去 24 時間]、または [N 日前]。 N 日前の場合、デフォルトの N は 2 です (必須)。
[デフォルトの依存ポリシー]：オプション： [最初のインスタンス]、 [最新のインスタンス]、 [すべてのインスタンス]、または [最後のインスタンス]。

初期のデフォルトの依存期間とポリシーは次のとおりです。

現在のノードのスケジューリング期間	アップストリームノードのスケジューリング期間	アップストリームの自己依存	デフォルトの依存期間	デフォルトの依存ポリシー
日次/週次/月次	日次	はい/いいえ	現在の期間 (日)	最後のインスタンス
日次/週次/月次	時間ごと/分ごと	いいえ	現在の期間 (日)	すべてのインスタンス
日次/週次/月次	時間ごと/分ごと	はい	現在の期間 (日)	最後のインスタンス
月次/週次/日次/時間ごと/分ごと	月次/週次	はい	現在の期間 (日)	最後のインスタンス
月次/週次/日次/時間ごと/分ごと	月次/週次	いいえ	現在の期間 (日)	最後のインスタンス
時間ごと/分ごと	日次	はい/いいえ	現在の期間 (日)	最後のインスタンス
時間ごと/分ごと	時間ごと/分ごと	はい/いいえ	現在の期間 (日)	最後のインスタンス

[タグ値]

タスクのタグ値を管理します。 [タグを追加] をクリックしてタグを作成します。最大： 50 個、各タグは 64 文字までです。

[削除] をクリックして、関連するすべてのタスクからタグを削除します。タグを再追加すると復元されます。

設定が完了したら、 [OK] をクリックします。

[デフォルトに戻す] をクリックしてリセットします。

テーブル管理設定

説明

テーブル管理設定は、StarRocks、GaussDB (DWS)、Doris、または SelectDB ではサポートされていません。

[テーブル管理設定]エリアで [Edit] をクリックして、テーブル削除の発行設定を構成します。
- [SQL を使用してテーブルを削除する際に、保留中の発行アイテムを自動的に生成する]：デフォルトで有効になっています。アドホッククエリまたは SQL コンピューティングタスクで DROP TABLE 文が実行されると、保留中の発行アイテムが生成されます。無効にすると、DROP TABLE table_name を実行しても発行アイテムは生成されません。
- [テーブル管理でテーブルを削除する際に、保留中の発行アイテムを生成する]：デフォルトで有効になっています。テーブル管理でテーブルが削除されると、保留中の発行アイテムが生成されます。無効にすると、発行アイテムは生成されません。

[デフォルトのストレージフォーマット]または[デフォルトの外部テーブルストレージフォーマット]を設定します。サポートされているフォーマットは、コンピューティングエンジンによって異なります。

説明

コンピューティングエンジンが AnalyticDB for PostgreSQL の場合、デフォルトのストレージフォーマットは設定できません。
デフォルトの外部テーブルストレージフォーマットは、MaxCompute でのみ使用できます。
以下の表では、- はサポート対象外を示します。

エンジンのデフォルト

Hudi

Delta (Delta Lake)

Paimon

Iceberg

Kudu

Parquet

Avro

Rcfile

Orc

Textfile

Sequencefile

Binaryfile

Csv

Text

Json

MaxCompute

-

サポート対象

-

Lindorm (コンピューティングエンジン)

サポート対象

-

サポート対象

-

サポート対象

-

Databricks

サポート対象

-

サポート対象

-

サポート対象

-

サポート対象

-

サポート対象

Amazon EMR

サポート対象

-

Transwarp TDH 6.x
Transwarp TDH 9.3.x

サポート対象

-

サポート対象

-

サポート対象

-

CDH 5.x
CDH 6.x
E-MapReduce 3.x
E-MapReduce 5.x
Cloudera Data Platform 7.x
Huawei FusionInsight 8.x
AsiaInfo DP 5.3

サポート対象

-

MaxCompute の物理テーブルと論理テーブルのデフォルトのライフサイクルを設定します。デフォルト：空 (ライフサイクルなし)。範囲：1～36,500 日。クイックオプション： [7]、[14]、[30]、または [360] 日。

説明
デフォルトのライフサイクルは、MaxCompute コンピューティングエンジンでのみ利用可能です。
設定が完了したら、[OK] をクリックします。

[Restore Defaults] をクリックしてリセットします。

標準モデリングのデフォルトコンピューティングエンジン

Hadoop コンピューティングエンジンを使用する場合、標準モデリングのデフォルトコンピューティングエンジンをセットします。オプションは Hive、Impala、Spark で、以下の制限があります：

重要

プロジェクトのコンピューティングソースでタスクタイプが有効になっていない場合、システムはデフォルトで Hive を使用します。詳細については、「Hadoop コンピューティングソースの作成」をご参照ください。

Hive： Kudu ソーステーブルの読み取りはできません。
Impala： Kudu ソーステーブルを読み取れますが、論理テーブルを Kudu フォーマットで保存することはできません。ソーステーブルが Kudu フォーマットでない場合は、Impala の使用を避けてください。

説明
Impala は Amazon EMR では利用できません。
Spark： Kudu ソーステーブルの読み取りはできません。

クエリアクセラレーション

MaxCompute クエリアクセラレーション (MCQA) を有効または無効にします。有効にすると、MCQA は分析プラットフォームにおけるすべてのアドホック MaxCompute SQL クエリおよび SQL ユニットクエリに適用されます。

重要

クエリアクセラレーションは、MaxCompute でのみ利用可能です。

シングルテナントマルチエンジン

マルチエンジンモードでは、編集ロック、ストレージサイズ更新設定、ノードタスク設定、およびテーブル管理設定のみ設定できます。以下は別の場所で設定する必要があります。

SQL にアカウントとパスワードのグローバル変数が含まれている場合、logview URL を非表示にする：[クラスター管理] > [MaxCompute クラスター - その他の設定] で設定します。詳細については、「その他の設定」をご参照ください。
デフォルトストレージフォーマット/デフォルト外部テーブルストレージフォーマット：[クラスター管理] > [その他の設定] で設定します。詳細については、「その他の設定」をご参照ください。
標準モデリングのデフォルトコンピューティングエンジン：[クラスター管理] > [その他の設定] で設定します。詳細については、「その他の設定」をご参照ください。
クエリアクセラレーション：[クラスター管理] > [MaxCompute クラスター - その他の設定] で設定します。詳細については、「その他の設定」をご参照ください。