Dataphin:オフライン物理テーブルの作成と編集

制限事項

• [データ標準] モジュールを購入していない場合、テーブルの [データ標準] フィールドを設定することはできません。

• [資産セキュリティ] モジュールを購入していない場合、テーブルの [データ感度レベル] および [データ分類] フィールドを設定することはできません。

• MaxCompute、Hadoop、Lindorm、Databricks、GaussDB (DWS)、TDH 6.x、TDH 9.3.x、StarRocks、Doris、SelectDB、および AnalyticDB for PostgreSQL コンピュートエンジンのみがサポートされています。

• マルチエンジンモードでは、テーブル管理は、プロジェクトにバインドされている計算ソースのエンジンタイプが MaxCompute、Hadoop、AnalyticDB for PostgreSQL、GaussDB (データウェアハウスサービス (DWS))、Databricks、Lindorm (コンピュートエンジン)、Transwarp TDH 6.x、Transwarp TDH 9.3.x、StarRocks、Doris、または SelectDB の場合にのみサポートされます。

オフライン物理テーブルの作成

ステップ 1: 基本情報の設定

1. Dataphin ホームページのトップメニューバーで、[R&D] > [Data Development] に移動します。

2. トップメニューバーで、[プロジェクト] を選択します。Dev-Prod モードの場合は、[環境] も選択する必要があります。

3. 左側のナビゲーションウィンドウで、[データ処理] > [テーブル] を選択します。

4. テーブルのリストで、 アイコンをクリックし、[オフライン物理テーブル] を選択します。

5. [物理テーブルの作成] 設定ウィザードで、次のパラメーターを設定します。必須パラメーターは、コンピュートエンジンのタイプによって異なります。

   MaxCompute コンピュートエンジン

   パラメーター	説明
   テーブル名	オフライン物理テーブルの名前を入力します。名前には、英字、数字、アンダースコア (_) のみを使用できます。名前の長さは最大 128 文字です。
   ディレクトリ	オフライン物理テーブルが保存されているディレクトリを選択します。 ディレクトリが作成されていない場合は、次のように [新しいフォルダー] を作成できます。 ページ左側の計算ノードリストの上にある アイコンをクリックして、[新しいフォルダー] ダイアログボックスを開きます。 [新しいフォルダー] ダイアログボックスで、フォルダーの [名前] を入力し、[タイプ] を [オフライン] に設定し、必要に応じて [ディレクトリの選択] を行います。 [確認] をクリックします。
   データドメイン (任意)	テーブルが属するデータドメインを選択します。利用可能なデータドメインがない場合は、作成できます。詳細については、「データドメインの作成」をご参照ください。
   [説明] (任意)	最大 1,000 文字の簡単な説明を入力します。

   Hadoop コンピュートエンジン

   パラメーター	説明
   テーブル名	オフライン物理テーブルの名前を入力します。名前には、英字、数字、アンダースコア (_) のみを使用できます。名前の長さは最大 128 文字です。
   ディレクトリ	オフライン物理テーブルが保存されているディレクトリを選択します。 ディレクトリが作成されていない場合は、次のように [新しいフォルダー] を作成できます。 ページ左側の計算ノードリストの上にある アイコンをクリックして、[新しいフォルダー] ダイアログボックスを開きます。 [新しいフォルダー] ダイアログボックスで、フォルダーの [名前] を入力し、[タイプ] を [オフライン] に設定し、必要に応じて [ディレクトリの選択] を行います。 [確認] をクリックします。
   データドメイン (任意)	テーブルが属するデータドメインを選択します。利用可能なデータドメインがない場合は、作成できます。詳細については、「データドメインの作成」をご参照ください。
   [説明] (任意)	最大 1,000 文字の簡単な説明を入力します。
   ストレージファイル形式	オフライン物理テーブルのストレージ形式を選択します。次の形式がサポートされています。 hudi、delta (Delta Lake): これらの形式は、プロジェクトに対応する計算ソースで Spark SQL が有効になっている場合にのみ選択できます。計算ソースで Spark SQL が有効になっていない場合で、研究開発プラットフォーム - テーブル管理設定の [デフォルトストレージ形式] が hudi または delta (Delta Lake) に設定されている場合、ここでのストレージ形式はデフォルトで [エンジンデフォルト (DDL ステートメントで指定可能)] になります。 hudi を選択した場合、DDL ステートメントのストレージ形式句は using hudi です。delta (Delta Lake) を選択した場合、ストレージ形式句は using delta です。 paimon iceberg parquet: DDL ステートメントのストレージ形式句は stored as parquet です。 avro: DDL ステートメントのストレージ形式句は stored as avro です。 rcfile: DDL ステートメントのストレージ形式句は stored as rcfile です。 orc: DDL ステートメントのストレージ形式句は stored as orc です。 textfile: DDL ステートメントのストレージ形式句は stored as textfile です。 sequencefile: DDL ステートメントのストレージ形式句は stored as sequencefile です。

   Lindorm コンピュートエンジン

   パラメーター	説明
   テーブル名	オフライン物理テーブルの名前を入力します。名前には、英字、数字、アンダースコア (_) のみを使用できます。名前の長さは最大 128 文字です。
   ディレクトリ	オフライン物理テーブルが保存されているディレクトリを選択します。 ディレクトリが作成されていない場合は、次のように [新しいフォルダー] を作成できます。 ページ左側の計算ノードリストの上にある アイコンをクリックして、[新しいフォルダー] ダイアログボックスを開きます。 [新しいフォルダー] ダイアログボックスで、フォルダーの [名前] を入力し、[タイプ] を [オフライン] に設定し、必要に応じて [ディレクトリの選択] を行います。 [確認] をクリックします。
   データドメイン (任意)	テーブルが属するデータドメインを選択します。利用可能なデータドメインがない場合は、作成できます。詳細については、「データドメインの作成」をご参照ください。
   [説明] (任意)	最大 1,000 文字の簡単な説明を入力します。
   ストレージファイル形式	オフライン物理テーブルのストレージ形式を選択します。デフォルトでは、研究開発プラットフォーム - テーブル管理設定のデフォルトストレージ形式と同じです。次の形式がサポートされています。 エンジンデフォルト (DDL ステートメントで指定可能): DDL ステートメントにはストレージ形式設定句 (using または stored as) がありません。 iceberg parquet avro rcfile orc textfile sequencefile

   Databricks コンピュートエンジン

   パラメーター	説明
   [テーブル名]	オフライン物理テーブルの名前を入力します。名前には、英字、数字、アンダースコア (_) のみを使用できます。名前の長さは最大 128 文字です。
   ディレクトリ	オフライン物理テーブルが保存されているディレクトリを選択します。 ディレクトリが作成されていない場合は、次のように [新しいフォルダー] を作成できます。 ページ左側の計算ノードリストの上にある アイコンをクリックして、[新しいフォルダー] ダイアログボックスを開きます。 [新しいフォルダー] ダイアログボックスで、フォルダーの [名前] を入力し、[タイプ] を [オフライン] に設定し、必要に応じて [ディレクトリの選択] を行います。 [確認] をクリックします。
   [データドメイン] (任意)	テーブルが属するデータドメインを選択します。利用可能なデータドメインがない場合は、作成できます。詳細については、「データドメインの作成」をご参照ください。
   [説明] (任意)	最大 1,000 文字の簡単な説明を入力します。
   ストレージファイルフォーマット	オフライン物理テーブルのストレージ形式を選択します。デフォルトでは、研究開発プラットフォーム - テーブル管理設定のデフォルトストレージ形式と同じです。次の形式がサポートされています。 エンジンデフォルト (DDL ステートメントで指定可能): DDL ステートメントにはストレージ形式設定句 (using または stored as) がありません。 avro binaryfile csv delta (Delta Lake) json orc parquet text

   GaussDB (DWS)/AnalyticDB for PostgreSQL コンピュートエンジン

   パラメーター	説明
   [テーブル名]	オフライン物理テーブルの名前を入力します。名前には、英字、数字、アンダースコア (_) のみを使用できます。名前の長さは最大 63 文字です。
   ディレクトリ	オフライン物理テーブルが保存されているディレクトリを選択します。 ディレクトリが作成されていない場合は、次のように [新しいフォルダー] を作成できます。 ページ左側の計算ノードリストの上にある アイコンをクリックして、[新しいフォルダー] ダイアログボックスを開きます。 [新しいフォルダー] ダイアログボックスで、フォルダーの [名前] を入力し、[タイプ] を [オフライン] に設定し、必要に応じて [ディレクトリの選択] を行います。 [確認] をクリックします。
   データドメイン (任意)	データドメインは、プロジェクトのビジネスセグメントがバインドされている場合にのみ選択できます。
   [説明] (任意)	最大 1,000 文字の簡単な説明を入力します。

   StarRocks コンピュートエンジン

   パラメーター	説明
   [テーブル名]	オフライン物理テーブルの名前を入力します。名前には、英字、数字、アンダースコア (_) のみを使用できます。名前の長さは最大 1,024 文字です。
   テーブルタイプ	[プライマリキーテーブル]、[詳細テーブル]、[集計テーブル]、または [更新テーブル] を選択できます。
   ディレクトリ	オフライン物理テーブルが保存されているディレクトリを選択します。 ディレクトリが作成されていない場合は、次のように [新しいフォルダー] を作成できます。 ページ左側の計算ノードリストの上にある アイコンをクリックして、[新しいフォルダー] ダイアログボックスを開きます。 [新しいフォルダー] ダイアログボックスで、フォルダーの [名前] を入力し、[タイプ] を [オフライン] に設定し、必要に応じて [ディレクトリの選択] を行います。 [確認] をクリックします。
   [データドメイン] (任意)	データドメインは、プロジェクトのビジネスセグメントがバインドされている場合にのみ選択できます。
   [説明] (任意)	最大 1,000 文字の簡単な説明を入力します。

   Doris/SelectDB コンピュートエンジン

   パラメーター	説明
   [テーブル名]	オフライン物理テーブルの名前を入力します。名前には、英字、数字、アンダースコア (_) のみを使用できます。名前の長さは最大 1,024 文字です。
   [テーブルタイプ]	[プライマリキーテーブル]、[複製キーテーブル]、または [集計テーブル] を選択できます。
   ディレクトリ	オフライン物理テーブルが保存されているディレクトリを選択します。 ディレクトリが作成されていない場合は、次のように [新しいフォルダー] を作成できます。 ページ左側の計算ノードリストの上にある アイコンをクリックして、[新しいフォルダー] ダイアログボックスを開きます。 [新しいフォルダー] ダイアログボックスで、フォルダーの [名前] を入力し、[タイプ] を [オフライン] に設定し、必要に応じて [ディレクトリの選択] を行います。 [確認] をクリックします。
   データドメイン（任意）	データドメインは、プロジェクトのビジネスセグメントがバインドされている場合にのみ選択できます。
   [説明] (任意)	最大 1,000 文字の簡単な説明を入力します。

6. 設定が完了したら、[次へ] をクリックします。

ステップ 2: フィールドリストの設定

コンピュートエンジンによってサポートされるストレージ形式は異なります。詳細については、「テーブル管理設定」をご参照ください。フィールドリストでサポートされる設定は、次の表に示すように、[ストレージファイル形式] によって異なります。

ステップ3: ストレージの構成

サポートされているストレージ構成は、MaxCompute コンピュートエンジンおよび Hadoop コンピュートエンジンの [ストレージファイル形式] によって、またコンピュートエンジンごとにも、次の表に示すように異なります。

データのインポート

オフライン物理テーブルを送信した後、データをインポートできます。

1. テーブル管理リストで、ターゲットのオフライン物理テーブルをクリックします。テーブル名で検索できます。

2. テーブル詳細ページで、[データインポート] をクリックして [データインポート] ダイアログボックスを開きます。

3. [データインポート] ダイアログボックスの [基本設定] ステップで、データをアップロードし、インポートパラメーターを設定します。

   パラメーター	説明
   ファイルのアップロード	[ファイルの選択] をクリックして、インポートするデータファイルをアップロードします。サポートされているファイルは .txt と .csv のみです。ファイルサイズは 10 MB を超えることはできません。
   区切り文字	データ区切り文字です。カンマ (,)、タブ文字 (\t)、縦棒 (|)、スラッシュ (/) がサポートされています。また、指定した他の区切り文字を入力することもできます。
   文字セットエンコーディング	アップロードされたデータファイルの文字セットエンコーディングを選択します。utf-8 (BOM なし)、utf-8 (BOM あり)、gbk、big5、gb2312、ascii、utf-16 の文字セットの解析をサポートしています。
   最初の行をヘッダーとして使用	アップロードされたデータファイルに基づいて、最初の行がヘッダーであるかどうかを選択します。
   ターゲットパーティション	テーブルがパーティションテーブルの場合は、データインポートの [ターゲットパーティション] の名前を入力します。

4. [次へ] をクリックします。

5. [データインポート] ステップで、データテーブルフィールドのマッピングを設定します。

   • マッピング：

     • 行によるマッピング：同じ行番号を持つ項目をマッピングします。

     • 名前によるマッピング：同じ名前を持つ項目をマッピングします。

   • インポートファイルデータ列：このパラメーターは、データ列、NULL、または静的フィールドに設定できます。

6. [インポート開始] をクリックして、テーブルにデータをインポートします。

オフライン物理テーブルの編集

オフライン物理テーブルを送信した後、そのデータを編集できます。

1. テーブル管理リストで、対象のオフライン物理テーブルをクリックします。テーブル名で検索できます。

2. テーブル詳細ページで [編集] をクリックして、[物理テーブルの編集] ページを開きます。

   編集可能なパラメーターは、次の表に示すように、ストレージフォーマットによって異なります。

   ストレージフォーマットは hudi

   タブ	説明
   [基本情報]	編集できるのは [テーブル名] と [説明] のみです。パラメーターの要件は、オフライン物理テーブルの作成時と同じです。
   フィールドリスト	hudi システムフィールド以外のフィールドの名前とタイプを編集および削除できます。hudi システムフィールドには、以下が含まれます： _hoodie_commit_time _hoodie_commit_seqno _hoodie_record_key _hoodie_partition_path _hoodie_file_name 説明 フィールド名の変更、フィールドタイプの変更、またはフィールドの追加/削除を行う際に、その操作がエンジンの設定でサポートされていない場合、エラーが発生することがあります。
   [ストレージ設定]	編集できるのは [type]、[primaryKey]、[preCombineField]、[Location] のみです。Location は、現在のデータテーブルが外部テーブルである場合にのみ編集できます。

   編集が完了したら、[送信] をクリックします。[送信] ダイアログボックスで、テーブルを作成するための SQL ステートメントを確認します。送信には、コンピュートソースのデフォルト SQL が使用されます。その後、[確認して送信] をクリックします。

   説明

   hudi テーブルでフィールド名の変更、フィールドの削除、フィールドタイプの変更などの操作を行う際にエンジンエラーが発生した場合は、エンジンサービスプロバイダーに連絡してエンジンの設定を確認してください。

   ストレージ形式は delta (Delta Lake)

   タブ	説明
   [基本情報]	編集できるのは [テーブル名] と [説明] のみです。パラメーターの要件は、オフライン物理テーブルの作成時と同じです。
   フィールドリスト	既存のフィールドを編集および削除したり、新しいフィールドを追加したりできます。フィールドの要件は、オフライン物理テーブルの作成時と同じです。
   ストレージ設定	データディストリビューション Liquid Clustering が有効な場合、無効にするか、Cluster By フィールドを再選択できます。 Liquid Clustering とパーティションの両方が無効な場合、Liquid Clustering を有効にして Cluster By フィールドを指定できます。 Liquid Clustering とパーティションの両方が無効な場合、パーティションを有効にすることはできません。 パーティションが有効な場合、Liquid Clustering、パーティション、および Partitioned By は変更できません。 ストレージロケーション：Location は、現在のデータテーブルが外部テーブルである場合にのみ編集できます。

   編集後、[送信] をクリックします。[送信] ダイアログボックスで、テーブルの作成に使用されるコンピュートソースのデフォルト SQL ステートメントを確認し、[確認して送信] をクリックします。

   ストレージフォーマットが iceberg の場合

   タブ	説明
   [基本情報]	編集できるのは [テーブル名] と [説明] のみです。パラメーターの要件は、オフライン物理テーブルの作成時と同じです。
   フィールドリスト	フィールド名とタイプを編集したり、フィールドを追加および削除したりできます。 説明 フィールド名の変更、フィールドタイプの変更、またはフィールドの追加/削除を行う際に、その操作がエンジンの設定でサポートされていない場合、エラーが発生することがあります。
   [ストレージ設定]	Location は、現在のデータテーブルが外部テーブルである場合にのみ編集できます。

   編集後、[送信] をクリックします。システムは、Hadoop コンピュートエンジンには Spark SQL を使用し、Lindorm にはコンピュートソースのデフォルト SQL を使用します。

   [送信] ダイアログボックスで、テーブル作成の SQL ステートメントを確認し、[確認して送信] をクリックします。

   ストレージフォーマットが paimon の場合

   タブ	説明
   [基本情報]	編集できるのは [テーブル名] と [説明] のみです。パラメーターの要件は、オフライン物理テーブルの作成時と同じです。
   フィールドリスト	フィールド名とタイプを編集したり、フィールドを追加および削除したりできます。 説明 フィールド名の変更、フィールドタイプの変更、またはフィールドの追加/削除を行う際に、その操作がエンジンの設定でサポートされていない場合、エラーが発生することがあります。
   ストレージ設定	Location は、現在のデータテーブルが外部テーブルである場合にのみ編集できます。

   編集後、[送信] をクリックします。[送信] ダイアログボックスで、テーブルを作成するための Spark SQL ステートメントを確認し、[確認して送信] をクリックします。

   MaxCompute コンピュートエンジン

   • MaxCompute 内部テーブル

     タブ	説明
     [基本情報]	編集できるのは [テーブル名] と [説明] のみです。パラメーターの要件は、オフライン物理テーブルの作成時と同じです。
     [フィールドリスト]	既存のフィールドを編集および削除したり、新しいフィールドを追加したりできます。フィールドの要件は、オフライン物理テーブルの作成時と同じです。フィールドタイプを変更すると、DDL ステートメントが生成されます。 フィールドの Not Null オプションの選択を解除できます。 現在のテーブルが内部トランザクションテーブルである場合、プライマリキーとして設定されたフィールドは選択を解除できず、null にすることもできません。 すでに Not Null として選択されているフィールドに対してのみ、Not Null オプションの選択を解除できます。
     [ストレージ設定]	[ライフサイクル] を編集できます。要件は、オフライン物理テーブルの作成時と同じです。

   • MaxCompute 外部テーブル

     タブ	説明
     基本情報	編集できるのは [テーブル名] と [説明] のみです。パラメーターの要件は、オフライン物理テーブルの作成時と同じです。
     [フィールドリスト]	既存のフィールドを編集および削除したり、新しいフィールドを追加したりできます。フィールドの要件は、オフライン物理テーブルの作成時と同じです。フィールドタイプを変更すると、DDL ステートメントが生成されます。 すでに Not Null として選択されているフィールドに対してのみ、Not Null オプションの選択を解除できます。
     ストレージ設定	[ストレージロケーション] (Location) を編集できます。パラメーターの要件は、オフライン物理テーブルの作成時と同じです。

   編集後、[送信] をクリックします。[送信] ダイアログボックスで、テーブルを作成するための SQL ステートメントを確認し、[確認して送信] をクリックします。

   説明

   変更にフィールドの削除やフィールドタイプの変更などの操作が含まれる場合は、まず MaxCompute でプロジェクトレベルの設定を有効にする必要があります： setproject odps.schema.evolution.enable=true;。

   GaussDB (DWS)/AnalyticDB for PostgreSQL コンピュートエンジン

   タブ	説明
   [基本情報]	編集できるのは [テーブル名]、[データドメイン]、[説明] のみです。パラメーターの要件は、オフライン物理テーブルの作成時と同じです。
   フィールドリスト	既存のフィールドを編集および削除したり、新しいフィールドを追加したりできます。フィールドの要件は、オフライン物理テーブルの作成時と同じです。フィールドタイプを変更すると、DDL ステートメントが生成されます。 フィールドの [Not Null] オプションを変更できます。 プライマリキーを再選択することはできません。必要に応じて、テーブルレベルの制約を編集してプライマリキーを変更できます。
   [ストレージ設定]	[テーブル制約] と [分散キー] を編集できます。要件は、オフライン物理テーブルを作成する場合と同じです。パーティション情報は、Asset Manifest > オブジェクト詳細 > フィールドで確認できます。

   StarRocks/Doris/SelectDB コンピュートエンジン

   タブ	説明
   [基本情報]	編集できるのは [テーブル名]、[データドメイン]、[説明] のみです。パラメーターの要件は、オフライン物理テーブルの作成時と同じです。
   [フィールドリスト]	既存のフィールドを編集および削除したり、新しいフィールドを追加したりできます。フィールドの要件は、オフライン物理テーブルの作成時と同じです。フィールドタイプを変更すると、DDL ステートメントが生成されます。 フィールドの [Not Null] オプションを変更できます。 プライマリキー、集計キー、および一意キーのフィールドは削除できません。 新しいプライマリキー、一意キー、または集計キーのフィールドを追加することはできません。また、既存のプライマリキー、一意キー、または集計キーのフィールドの選択を解除することもできません。 フィールド名を変更したり、[ルートネーミング] を使用したりすることはできません。
   ストレージ設定	編集できるのは [Distributed By] のみです。

シングルテナントマルチエンジン

テーブルからインポート メソッドを使用してフィールドリストを設定する場合、同じエンジンタイプのプロジェクトからのみテーブルをインポートできます。

次のステップ

• 開発モードが Dev-Prod の場合、オフライン物理テーブルをパブリッシュする必要があります。 詳細については、「パブリッシュタスクの管理」をご参照ください。

• 開発モードが Basic の場合、提出されたオフライン物理テーブルは Asset Catalog で管理できます。 詳細については、「」をご参照ください。