開発プラットフォームの設定 - Dataphin - Alibaba Cloud ドキュメントセンター

開発プラットフォームでは、開発中のロックと ANALYZE コマンドの同時実行数を制御できます。このトピックでは、編集ロック、オブジェクトの送信、クエリの高速化、およびストレージ更新設定の構成方法について説明します。

制限事項

ストレージ更新設定機能は、E-MapReduce 3.x、E-MapReduce 5.x、CDH 5.x、CDH 6.x、FusionInsight 8.x、Cloudera Data Platform 7.x、AsiaInfo DP 5.3、ArgoDB、TDH 6.x、StarRocks、SelectDB、または Doris のコンピュートエンジンで利用できます。
SelectDB および Doris コンピュートエンジンは、テーブル管理設定または標準モデリングのデフォルトコンピュートエンジンをサポートしていません。

権限

開発プラットフォームを設定するには、[開発プラットフォーム設定の管理] 権限を持っているか、[スーパー管理者] または [システム管理者] である必要があります。

開発プラットフォームへのアクセス

Dataphin ホームページの上部ナビゲーションバーで、[管理センター] > [システム設定] を選択します。
左側のナビゲーションウィンドウで、[プラットフォーム設定] > [開発プラットフォーム] を選択します。

ディレクトリ権限

[権限コントロール]：この設定はデフォルトで無効になっています。有効にすると、オフライン計算タスクのトップレベルディレクトリの可視性を [パブリック] または [指定されたメンバーにのみ表示] に設定できます。これにより、ディレクトリとそのネストされたタスクを誰が表示できるかを制御します。無効にすると、この設定はすべてのカスタムディレクトリ可視性設定を無効にし、すべてのプロジェクトメンバーがネストされたオフライン計算タスクを表示できるようになります。

テナント間でオブジェクトをリリースする場合、ソースと異なる場合はターゲット環境の権限コントロール設定が優先されます。

編集ロック

[編集ロック] セクションで、編集アイコンをクリックし、排他的編集ロックを有効にして、ロック設定を構成します。

パラメーター	説明
排他的編集ロック	無効にすると、ユーザーは互いのロックを上書きできます。有効にすると、他のユーザーはロックが手動で解放されるか期限切れになるまで、ロックされたオブジェクトを編集できません。ロックが解放された後にのみ、編集を開始するためにロックを取得できます。
ロック期間	ユーザーが指定されたロック期間中非アクティブである場合、システムは排他ロックを解放し、他のユーザーが利用できるようにします。デフォルトの期間は 30 分です。最小値は 5 分、最大値は 120 分です。
オブジェクトを閉じると自動的に解放	ユーザーがオブジェクトのエディタータブを閉じると、ロックを自動的に解放します。
送信成功時に自動的に解放	送信が成功した後、ロックを自動的に解放します。送信が失敗した場合、ロックは解放されません。

[OK] をクリックして設定を保存します。
初期のシステム構成に戻すには、[デフォルトに戻す] をクリックします。

ストレージ更新設定

統合タスクまたはリアルタイム開発タスクが HDFS テーブルに直接書き込む場合、Hive はテーブルやパーティションのサイズなどのストレージ情報を自動的に更新しません。その結果、この情報がアセットカタログに表示されない場合があります。この問題を解決するために、Dataphin では、テーブルが更新された後に ANALYZE コマンドを自動的に実行して最新のストレージ情報を取得できます。この機能は [管理センター] > [システム設定] > [開発プラットフォーム] で設定できます。

[ストレージ更新設定] セクションで、編集アイコンをクリックし、ストレージの自動更新を有効にして、同時接続数を設定します。
- ストレージの自動更新：デフォルトでは無効になっています。有効にすると、タスクが正常に実行された後、Dataphin はターゲットの Hive テーブルで ANALYZE コマンドを自動的に実行してストレージ情報を更新します。多数の統合タスクおよびリアルタイム開発タスクがあり、高性能な Hive サーバーを使用している場合は、同時接続数を増やして更新コマンドの合計ランタイムを短縮できます。これにより、翌日には最新のストレージ情報がアセットカタログで利用可能になります。同時実行性が高すぎると、大量の計算リソースを消費し、他のタスクに影響を与える可能性があります。ビジネスニーズに基づいて同時接続数を設定してください。
- 最大接続数：ANALYZE コマンドを実行するための最大同時接続数。デフォルト値は 5 です。1 から 200 までの整数を設定できます。
  重要
  ストレージの自動更新が有効になっている場合、24 時間以上実行される ANALYZE コマンドは自動的に終了します。これは実行中および待機中の両方のコマンドに適用され、計算リソースの節約に役立ちます。
[OK] をクリックして設定を保存します。
説明
- ストレージの自動更新を有効にして [OK] をクリックすると、設定された同時実行数がすぐに有効になります。同時実行性が高すぎると、大量の計算リソースを消費し、他のタスクに影響を与える可能性があります。ビジネスニーズに基づいて同時接続数を設定してください。
- ストレージの自動更新を無効にしても、すでに実行中または待機中の ANALYZE コマンドには影響しません。ただし、その後完了した統合タスクおよびリアルタイム開発タスクについては、ターゲットテーブルのストレージ情報は自動的に更新されなくなります。Hive で ANALYZE コマンドを手動で実行して情報を更新できます。

ノードとタスクの設定

[ノードとタスクの設定] セクションで、[編集] アイコンをクリックして、新しいタスクのデフォルトのスケジューリング時間とオブジェクト送信ルールを設定します。

新規

パラメーター		説明
デフォルトの優先度		新規統合タスク、コンピューティングタスク、および論理テーブルタスクのデフォルトの優先度です。オプションは [最低]、[低]、および [中] です。デフォルトは「中」です。
デフォルトのスケジューリング時間	間隔内でランダム	デフォルトの時間間隔は 00:00–03:00 で、デフォルトのランダム間隔は 5 分です。終了時刻は開始時刻より後でなければなりません。有効な時間は hh:mm 形式で 00:00 から 23:59 までです。ランダム間隔は 1 から 30 までの整数でなければなりません。
	固定時間	デフォルトの時間は 00:00 です。有効な時間は hh:mm 形式で 00:00 から 23:59 までです。
デフォルトの Python バージョン		新しい Python 計算タスク、新しい Python オフライン計算テンプレート、およびサードパーティ Python パッケージのインストールのためのデフォルトの Python バージョン。オプションは Python 2.7、Python 3.7、および Python 3.11 です。デフォルトは Python 3.7 です。

説明

Hadoop ベースのコンピュートエンジンでは、[デフォルトのスケジューリング時間] はデフォルトで [間隔内でランダム] に設定されています。これを [固定時間] に変更できます。
統合タスク、計算タスク、または論理テーブルなどの新しいオフラインタスクを作成すると、スケジューリング時間はこの設定に基づいて自動的に設定されます。
- デフォルトのスケジューリング時間が [間隔内でランダム] に設定されている場合、指定されたルールに基づいてランダムな時間が割り当てられます。
- デフォルトのスケジューリング時間が [固定時間] に設定されている場合、指定された時間が使用されます。

実行
SQL にアカウントとパスワードのグローバル変数が含まれている場合に logview URL を非表示にする：SQL コード内のアカウントとパスワードのグローバル変数は MaxCompute logview にプレーンテキストで表示され、セキュリティリスクを生じる可能性があります。このオプションはデフォルトで無効になっています。
この設定項目を有効にすると、アカウントとパスワードのグローバル変数を参照する MAXCOMPUTE_SQL および論理テーブルタスクの SQL ステートメントの logview URL は、開発環境の実行ログとデータプレビューログ、および本番環境の O&M ログで非表示になります。logview URL は 現在の SQL ステートメントはアカウントとパスワードタイプのグローバル変数 "{dp_glb_xxx}" を使用しているため、logview URL は非表示になっています。 に置き換えられます。
説明
このオプションは、コンピュートエンジンが MaxCompute の場合にのみ利用できます。

送信

パラメーター	説明
オフラインオブジェクト送信時の依存関係の自動解析	有効にすると、SQL 計算タスクや論理テーブルタスクなどのオフライン開発オブジェクトを送信するたびに、システムが自動的に依存関係を解析し、上流の依存関係のリストを更新します。これにより、ユーザーが上流の依存関係を忘れたり見落としたりすることを防ぎます。
論理テーブル送信時のフィールドタイプの検証	有効にすると、論理テーブルの送信中に、フィールドの計算ロジックの戻り値の型が定義されたフィールドタイプと互換性があるかどうかをシステムが検証します。型が一致しない場合、送信はブロックされます。これにより、データエラーを引き起こす可能性のある暗黙の型変換を防ぎます。

廃止と削除
開発環境で公開済みオブジェクトの削除を許可：有効にすると、すでに本番環境にリリースされているオブジェクト (計算タスク、統合タスク、論理テーブル、アトミックメトリクス、ビジネス修飾子、派生メトリクスなど) を開発環境から直接削除できます。
重要
オブジェクトは削除後に回復できません。開発環境でオブジェクトを削除し、対応する削除タスクを本番環境にリリースしない場合、開発環境の対応オブジェクトが存在しなくなるため、本番環境のオブジェクトに変更を適用できなくなります。

デフォルトの依存期間とポリシー

デフォルトの依存期間とデフォルトの依存ポリシーを変更できます。

デフォルトの依存期間：[現在のサイクル (当日)]、[前のサイクル (前日)]、[過去 24 時間]、または [過去 N 日間] を選択できます。[過去 N 日間] の場合、N のデフォルトは 2 で、空にすることはできません。
デフォルトの依存ポリシー：[最初のインスタンス]、[最新のインスタンス]、[すべてのインスタンス]、または [最後のインスタンス] を選択できます。

初期のデフォルトの依存期間とポリシーは、次の表のとおりです。

現在のノードのスケジューリング周期	上流ノードのスケジューリング周期	上流ノードの自己依存	デフォルトの依存期間	デフォルトの依存ポリシー
日次/週次/月次	日次	はい/いいえ	現在のサイクル (当日)	最後のインスタンス
日次/週次/月次	時次/分次	いいえ	現在のサイクル (当日)	すべてのインスタンス
日次/週次/月次	時次/分次	はい	現在のサイクル (当日)	最後のインスタンス
月次/週次/日次/時次/分次	月次/週次	はい	現在のサイクル (当日)	最後のインスタンス
月次/週次/日次/時次/分次	月次/週次	いいえ	現在のサイクル (当日)	最後のインスタンス
時次/分次	日次	はい/いいえ	現在のサイクル (当日)	最後のインスタンス
時間単位/分単位	毎時/毎分	はい/いいえ	現在のサイクル (当日)	最後のインスタンス

タグ値
タスクタグの値を管理します。[タグを追加] をクリックして新しいタグを追加できます。最大で 50 個のタグを追加できます。タグ名には任意の文字を含めることができ、64 文字以下でなければなりません。
[削除] アイコンをクリックして既存のタグを削除できます。タグを削除すると、それを使用しているすべてのタスクから削除されます。同じ名前のタグを再追加すると、それらのタスクで復元されます。

設定が完了したら、[OK] をクリックします。
初期のシステム構成に戻すには、[デフォルトに戻す] をクリックします。

テーブル管理設定

説明

StarRocks、GaussDB (DWS)、Doris、および SelectDB コンピュートエンジンは、テーブル管理設定をサポートしていません。

[テーブル管理設定] セクションで、[編集] アイコンをクリックして、[SQL によるテーブル削除時にリリースアイテムを自動作成] と [テーブル管理でのテーブル削除時にリリースアイテムを作成] を設定します。
- SQL によるテーブル削除時にリリースアイテムを自動作成：デフォルトで有効になっています。有効にすると、開発環境でアドホッククエリまたは SQL 計算タスクで drop table ステートメントを実行すると、システムはテーブル削除のリリースアイテムを自動的に作成します。これを無効にすると、開発環境で drop table table_name ステートメントを実行してもリリースアイテムは作成されません。
- テーブル管理でのテーブル削除時にリリースアイテムを作成：デフォルトで有効になっています。有効にすると、テーブル管理でテーブルを削除すると、システムは対応するリリースアイテムを作成します。これを無効にすると、リリースアイテムは作成されません。

デフォルトのストレージフォーマットとデフォルトの外部テーブルストレージフォーマットを設定します。サポートされているフォーマットは、次の表に示すようにコンピュートエンジンによって異なります。

説明

コンピュートエンジンが AnalyticDB for PostgreSQL の場合、デフォルトのストレージフォーマットは設定できません。
デフォルトの外部テーブルストレージフォーマットは、コンピュートエンジンが MaxCompute の場合にのみ設定できます。
次の表では、- はフォーマットがサポートされていないことを示します。

エンジンのデフォルト

hudi

delta (Delta Lake)

paimon

iceberg

kudu

parquet

avro

rcfile

orc

textfile

sequencefile

binaryfile

csv

text

json

MaxCompute

サポート

Lindorm (コンピュートエンジン)

サポート

Databricks

サポート

Amazon EMR

サポート

Transwarp TDH 6.x
Transwarp TDH 9.3.x

サポート

CDH 5.x
CDH 6.x
E-MapReduce 3.x
E-MapReduce 5.x
Cloudera Data Platform 7.x
Huawei FusionInsight 8.x
AsiaInfo DP 5.3

サポート

MaxCompute コンピュートエンジンで物理テーブルと論理テーブルのデフォルトのライフサイクルを設定します。デフォルト値は空で、ライフサイクルが設定されていないことを意味します。1 から 36,500 までの整数を入力するか、7、14、30、または 360 日をすばやく選択できます。
説明
この設定は MaxCompute コンピュートエンジンでのみ利用できます。
設定が完了したら、[OK] をクリックします。
初期のシステム構成に戻すには、[デフォルトに戻す] をクリックします。

標準モデリングのデフォルトエンジン

テナントの Dataphin インスタンスが Hadoop コンピュートエンジンを使用している場合、標準モデリングのデフォルトコンピュートエンジンを設定できます。オプションは Hive、Impala、Spark です。これらのコンピュートエンジンには次の制限があります：

重要

プロジェクトのコンピュートソースで特定のタスクタイプが有効になっていない場合、システムは自動的に Hive コンピュートエンジンに切り替わります。詳細については、「Hadoop コンピュートソースの作成」をご参照ください。

Hive：Kudu フォーマットで保存されているソーステーブルを読み取ることができません。
Impala：Kudu フォーマットで保存されているソーステーブルから読み取ることができますが、現在、論理テーブルを Kudu フォーマットで保存することはサポートしていません。Kudu フォーマットのソーステーブルがない限り、Impala の使用は推奨されません。
説明
コンピュートエンジンが Amazon EMR の場合、Impala は選択できません。
Spark：Kudu フォーマットで保存されているソーステーブルを読み取ることができません。

クエリ高速化

MCQA クエリ高速化を有効または無効にします。有効にすると、分析プラットフォーム内のすべてのアドホック MaxCompute SQL クエリとすべての SQL セルクエリで MCQA クエリ高速化を使用できます。無効にすると、現在のテナントは MCQA クエリ高速化を使用できません。

重要

クエリ高速化は MaxCompute コンピュートエンジンでのみサポートされています。

シングルテナント・マルチエンジン

マルチエンジンモードでは、編集ロック、ストレージ更新設定、ノードとタスクの設定、およびテーブル管理設定のみを設定できます。以下の設定は他の場所で設定する必要があります：

SQL にアカウントとパスワードのグローバル変数が含まれている場合に logview URL を非表示にする：この設定は [クラスター管理] > [MaxCompute クラスター - その他の設定] で設定します。詳細については、「その他の設定」をご参照ください。
デフォルトのストレージフォーマット/デフォルトの外部テーブルストレージフォーマット：この設定は [クラスター管理] > [その他の設定] で設定します。詳細については、「その他の設定」をご参照ください。
標準モデリングのデフォルトコンピュートエンジン：この設定は [クラスター管理] > [その他の設定] で設定します。詳細については、「その他の設定」をご参照ください。
クエリ高速化：この設定は [クラスター管理] > [MaxCompute クラスター - その他の設定] で設定します。詳細については、「その他の設定」をご参照ください。