オフライン物理テーブルは、コンピュートタスク開発で使用されるテーブルを一元的に構成および管理し、開発効率を向上させるのに役立ちます。
制限事項
[データ標準] モジュールを購入していない場合、テーブルの [データ標準] フィールドを設定できません。
[アセット] セキュリティモジュールを購入していない場合、テーブルの [データ感度レベル] および [データ分類] フィールドを設定できません。
MaxCompute、Hadoop、Lindorm、Databricks、データウェアハウスサービス (DWS)、および AnalyticDB for PostgreSQL コンピュートエンジンのみがサポートされています。
オフライン物理テーブルの作成
ステップ 1: 基本情報の構成
Dataphin のホームページで、上部のメニューバーから [開発] > [データ開発] を選択します。
上部のメニューバーで、[プロジェクト] を選択します。Dev-Prod モードの場合は、[環境] も選択する必要があります。
左側のナビゲーションウィンドウで、[データ処理] > [テーブル] を選択します。
テーブルリストで、
アイコンをクリックし、[オフライン物理テーブル] を選択します。[物理テーブルの作成] ウィザードで、次のパラメーターを構成します。必須パラメーターは、コンピュートエンジンによって異なります。
MaxCompute コンピュートエンジン
パラメータ
説明
[テーブル名]
オフライン物理テーブルの名前を入力します。名前には、英字、数字、アンダースコア (_) のみを使用できます。名前の長さは最大 128 文字です。
[ディレクトリ]
オフライン物理テーブルが格納されるフォルダを選択します。
フォルダが作成されていない場合は、次のように新しいフォルダを作成します。
左側の計算ノードリストの上にある
アイコンをクリックして、[フォルダの作成] ダイアログボックスを開きます。[フォルダの作成] ダイアログボックスで、フォルダの [名前] を入力し、[タイプ] を [オフライン] に設定し、必要に応じて [ディレクトリの選択] を行います。
[OK] をクリックします。
データドメイン (オプション)
テーブルが属する主題領域を選択します。利用可能な主題領域がない場合は、作成します。詳細については、「主題領域の作成」をご参照ください。
説明 (オプション)
簡単な説明を入力します。説明の長さは最大 1,000 文字です。
Hadoop コンピュートエンジン
パラメータ
説明
[テーブル名]
オフライン物理テーブルの名前を入力します。名前には、英字、数字、アンダースコア (_) のみを使用できます。名前の長さは最大 128 文字です。
[ディレクトリ]
オフライン物理テーブルが格納されるフォルダを選択します。
フォルダが作成されていない場合は、次のように新しいフォルダを作成します。
左側の計算ノードリストの上にある
アイコンをクリックして、[フォルダの作成] ダイアログボックスを開きます。[フォルダの作成] ダイアログボックスで、フォルダの [名前] を入力し、[タイプ] を [オフライン] に設定し、必要に応じて [ディレクトリの選択] を行います。
[OK] をクリックします。
データドメイン (オプション)
テーブルが属する主題領域を選択します。利用可能な主題領域がない場合は、作成します。詳細については、「主題領域の作成」をご参照ください。
説明 (オプション)
簡単な説明を入力します。説明の長さは最大 1,000 文字です。
ストレージファイル形式
オフライン物理テーブルのストレージ形式を選択します。次の形式がサポートされています。
hudi および delta(Delta Lake): これらのフォーマットは、プロジェクトのコンピュートソースで [Spark SQL] が有効になっている場合にのみ使用できます。コンピュートソースで [Spark SQL が有効になっていない] が、開発プラットフォームのテーブル管理設定の [デフォルトのストレージ形式] が [hudi] または [delta(Delta Lake)] に設定されている場合、ストレージ形式はデフォルトで [エンジンデフォルト (CREATE TABLE 文で指定可能)] になります。
[hudi] を選択した場合、CREATE TABLE 文のストレージ形式句は
using hudiです。[delta (Delta Lake)] を選択した場合、ストレージ形式句はusing deltaです。paimon
iceberg
parquet: CREATE TABLE 文のストレージ形式句は
stored as parquetです。avro: CREATE TABLE 文のストレージ形式句は
stored as avroです。rcfile: CREATE TABLE 文のストレージ形式句は
stored as rcfileです。orc: CREATE TABLE 文のストレージ形式句は
stored as orcです。textfile: CREATE TABLE 文のストレージ形式句は
stored as textfileです。sequencefile: CREATE TABLE 文のストレージ形式句は
stored as sequencefileです。
Lindorm コンピュートエンジン
パラメータ
説明
[テーブル名]
オフライン物理テーブルの名前を入力します。名前には、英字、数字、アンダースコア (_) のみを使用できます。名前の長さは最大 128 文字です。
[ディレクトリ]
オフライン物理テーブルが格納されるフォルダを選択します。
フォルダが作成されていない場合は、次のように新しいフォルダを作成します。
左側の計算ノードリストの上にある
アイコンをクリックして、[フォルダの作成] ダイアログボックスを開きます。[フォルダの作成] ダイアログボックスで、フォルダの [名前] を入力し、[タイプ] を [オフライン] に設定し、必要に応じて [ディレクトリの選択] を行います。
[OK] をクリックします。
データドメイン (オプション)
テーブルが属する主題領域を選択します。利用可能な主題領域がない場合は、作成します。詳細については、「主題領域の作成」をご参照ください。
説明 (オプション)
簡単な説明を入力します。説明の長さは最大 1,000 文字です。
[ストレージファイル形式]
オフライン物理テーブルのストレージ形式を選択します。デフォルトの形式は、開発プラットフォームのテーブル管理設定で指定されたデフォルトのストレージ形式と同じです。次の形式がサポートされています。
エンジンデフォルト (CREATE TABLE 文で指定可能): CREATE TABLE 文には、`using` や `stored as` などのストレージ形式設定句は含まれません。
iceberg
parquet
avro
rcfile
orc
textfile
sequencefile
Databricks コンピュートエンジン
パラメータ
説明
[テーブル名]
オフライン物理テーブルの名前を入力します。名前には、英字、数字、アンダースコア (_) のみを使用できます。名前の長さは最大 128 文字です。
[ディレクトリ]
オフライン物理テーブルが格納されるフォルダを選択します。
フォルダが作成されていない場合は、次のように新しいフォルダを作成します。
左側の計算ノードリストの上にある
アイコンをクリックして、[フォルダの作成] ダイアログボックスを開きます。[フォルダの作成] ダイアログボックスで、フォルダの [名前] を入力し、[タイプ] を [オフライン] に設定し、必要に応じて [ディレクトリの選択] を行います。
[OK] をクリックします。
データドメイン (オプション)
テーブルが属する主題領域を選択します。利用可能な主題領域がない場合は、作成します。詳細については、「主題領域の作成」をご参照ください。
説明 (オプション)
簡単な説明を入力します。説明の長さは最大 1,000 文字です。
[ストレージファイル形式]
オフライン物理テーブルのストレージ形式を選択します。デフォルトの形式は、開発プラットフォームのテーブル管理設定で指定されたデフォルトのストレージ形式と同じです。次の形式がサポートされています。
エンジンデフォルト (CREATE TABLE 文で指定可能): CREATE TABLE 文には、`using` や `stored as` などのストレージ形式設定句は含まれません。
avro
binaryfile
csv
delta(Delta Lake)
json
orc
parquet
text
DWS/AnalyticDB for PostgreSQL コンピュートエンジン
パラメータ
説明
テーブル名
オフライン物理テーブルの名前を入力します。名前には、英字、数字、アンダースコア (_) のみを使用できます。名前の長さは最大 63 文字です。
ディレクトリ
オフライン物理テーブルが格納されるフォルダを選択します。
フォルダが作成されていない場合は、次のように新しいフォルダを作成します。
左側の計算ノードリストの上にある
アイコンをクリックして、[フォルダの作成] ダイアログボックスを開きます。[フォルダの作成] ダイアログボックスで、フォルダの [名前] を入力し、[タイプ] を [オフライン] に設定し、必要に応じて [ディレクトリの選択] を行います。
[OK] をクリックします。
データドメイン (オプション)
主題領域を選択します。このオプションは、プロジェクトがビジネスセグメントにバインドされている場合にのみ使用できます。
説明 (オプション)
簡単な説明を入力します。説明の長さは最大 1,000 文字です。
構成が完了したら、[次へ] をクリックします。
ステップ 2: フィールドリストの構成
異なるコンピュートエンジンは異なるストレージ形式をサポートします。詳細については、「テーブル管理設定」をご参照ください。フィールドリストでサポートされる構成は、次の表に示すように、[ストレージファイル形式] によって異なります。
Databricks コンピュートエンジンを使用するオフライン物理テーブルの場合、ストレージ形式が [エンジンデフォルト (CREATE TABLE 文で指定可能)] に設定されている場合、フィールドリストでサポートされる構成は、delta (Delta Lake) ストレージ形式の構成と同じです。
ストレージ形式が hudi、delta (Delta Lake)、iceberg、または paimon の場合
[フィールドリスト] 構成ページで、物理テーブルのフィールド、データの型、データ分類、およびその他の構造情報を構成します。
エリア
説明
① フィールドリストの操作
検索: 名前でフィールドを検索します。
DDL の編集: 現在の物理テーブルのデータ定義言語 (DDL) 文を編集します。
データフィールドの追加: [データフィールドの追加] をクリックします。新しい行に、[列名]、[データの型]、および [リマーク] を入力します。
CREATE TABLE 文からインポート: CREATE TABLE 文を使用して新しいフィールドをインポートします。[CREATE TABLE 文からインポート] をクリックします。[CREATE TABLE 文からインポート] ダイアログボックスで、下の図に示すように CREATE TABLE 文を入力し、[SQL の解析] をクリックします。解析されたフィールドからインポートしたいフィールドを選択し、[追加] をクリックします。
詳細テーブルからインポート: [詳細テーブルからインポート] をクリックします。[詳細テーブルからインポート] ダイアログボックスで、ソーステーブルと目的のフィールドを選択し、[追加] をクリックします。
② フィールドリスト
フィールドリストには、[シリアル番号]、[列名]、[データの型]、[リマーク]、[推奨標準]、[データクラス]、[データ感度レベル] など、各フィールドの詳細が表示されます。
シリアル番号: テーブルフィールドの序数。新しいフィールドごとに番号が増加します。
列名: テーブルフィールドの名前。語根のフルネームを入力して検索できます。システムは、[管理] > [データ標準] > [語根] で構成されている語根と自動的に照合します。
データの型: サポートされているデータの型には、[string]、[bigint]、[double]、[timestamp]、[decimal]、[テキスト]、[数値]、[日時変数]、および [その他] があります。
テキスト: [varchar] および [char]。
数値: [int]、[Smallint]、[tinyint]、および [float]。
日時: [date]。MaxCompute コンピュートエンジンは datetime をサポートしています。
説明Hadoop コンピュートエンジンは datetime をサポートしていません。
その他: [boolean] および [binary]。
リマーク: テーブルフィールドの説明。説明の長さは最大 512 文字です。
推奨標準: フィールドのデータ標準を選択します。標準を作成するには、「データ標準の作成と管理」をご参照ください。
データクラス: フィールドのデータ分類を選択します。データ分類を作成するには、「データ分類の作成」をご参照ください。
データ感度レベル: データ分類を選択すると、システムが自動的にデータ感度レベルを識別します。
[操作] 列でフィールドを [削除] することもできます。
説明フィールドの削除は元に戻せません。
③一括操作
複数のテーブルフィールドを選択し、次のバッチ操作を実行できます。
削除:
アイコンをクリックして、選択したデータフィールドをバッチで削除します。推奨名:
アイコンをクリックします。システムは [リマーク] 列のコンテンツをトークン化し、トークンを既存の語根と照合し、フィールド名を推奨します。[語根の命名] ダイアログボックスで、選択したフィールドの名前を推奨名に置き換えることができます。説明推奨されるフィールド名が要件を満たさない場合は、[修正されたフィールド名] ボックスで変更できます。
[リセット] をクリックして、[修正されたフィールド名] をシステムが照合した語根に戻します。
推奨標準:
アイコンをクリックします。システムはフィールド名に基づいてデータ標準を推奨します。[データ標準] ダイアログボックスで、推奨されるデータ標準をフィールドに適用できます。
フィールドを追加したら、[次へ] をクリックします。
ストレージ形式が hudi、delta (Delta Lake)、iceberg、または paimon ではない場合
[フィールドリスト] 構成ページで、物理テーブルのフィールド、データの型、データ分類、およびその他の構造情報を構成します。
エリア
説明
① フィールドリストの操作
検索: 名前でフィールドを検索します。
DDL の編集: 現在の物理テーブルの DDL 文を編集します。
データフィールドの追加: [フィールドの追加] をクリックし、[データフィールド]、[パーティションフィールド]、[日付パーティションのクイック追加] などのフィールドタイプを選択します。新しい行に、[列名]、[データの型]、および [リマーク] を入力します。
データフィールドの追加: テーブルフィールドにデータフィールド行を追加します。
パーティションフィールド: テーブルフィールドにパーティションフィールド行を追加します。
日付パーティションのクイック追加: テーブルフィールドに日付パーティション行を追加します。デフォルト値は
dsです。
CREATE TABLE 文からインポート: create table 文を使用して新しいフィールドをインポートします。[CREATE TABLE 文からインポート] をクリックします。[CREATE TABLE 文からインポート] ダイアログボックスで、下の図の指示に従い、create table 文を入力し、[SQL の解析] をクリックします。解析されたフィールドからインポートしたいフィールドを選択し、[追加] をクリックしてインポートします。
テーブルからインポート: [テーブルからインポート] をクリックし、[テーブルからインポート] ダイアログボックスで、インポートするフィールドを含むソーステーブルを選択し、目的のフィールドを選択して、[追加] をクリックしてインポートします。
② フィールドリスト
フィールドリストには、[シリアル番号]、[列名]、[データの型]、[リマーク]、[推奨標準]、[データクラス]、[データ感度レベル] など、各フィールドの詳細が表示されます。
シリアル番号: テーブルフィールドの序数。新しいフィールドごとに 1 ずつ自動的に増加します。
列名: テーブルフィールドの名前。語根のフルネームを入力して検索できます。システムは、[管理] > [データ標準] > [語根] で構成されている語根と自動的に照合します。
データの型: サポートされているデータの型には、[string]、[bigint]、[double]、[timestamp]、[decimal]、[テキスト]、[数値]、[日時変数]、および [その他] があります。
テキスト: [varchar] および [char]。
数値: [int]、[Smallint]、[tinyint]、および [float]。
日時: [date]。MaxCompute コンピュートエンジンは [datetime] をサポートしています。
説明Hadoop コンピュートエンジンは datetime をサポートしていません。
その他: [boolean] および [binary]。
リマーク: テーブルフィールドの説明。説明の長さは最大 512 文字です。
推奨標準: フィールドのデータ標準を選択します。標準を作成するには、「データ標準の作成と管理」をご参照ください。
データクラス: フィールドのデータ分類を選択します。データ分類を作成するには、「データ分類の作成」をご参照ください。
データ感度レベル: データ分類を選択すると、システムが自動的にデータ感度レベルを識別します。
[操作] 列でフィールドを [削除] することもできます。
説明フィールドの削除は元に戻せません。
③一括操作
複数のテーブルフィールドを選択し、次のバッチ操作を実行できます。
削除:
アイコンをクリックして、選択したデータフィールドをバッチで削除します。推奨名:
アイコンをクリックします。システムは [リマーク] 列のコンテンツをトークン化し、トークンを既存の語根と照合し、フィールド名を推奨します。[語根の命名] ダイアログボックスで、選択したフィールドの名前を推奨名に置き換えることができます。説明推奨されるフィールド名が要件を満たさない場合は、[修正されたフィールド名] ボックスで変更できます。
[リセット] をクリックして、[修正されたフィールド名] をシステムが照合した語根に戻します。
推奨標準:
アイコンをクリックします。システムはフィールド名に基づいてデータ標準を推奨します。[データ標準] ダイアログボックスで、推奨されるデータ標準をフィールドに適用できます。
フィールドを追加したら、[次へ] をクリックします。
DWS/AnalyticDB for PostgreSQL コンピュートエンジン
エリア | 説明 |
① フィールドリストの操作 |
|
② フィールドリスト | フィールドリストには、[シリアル番号]、[列名]、[データの型 (長さ)]、主キー、NULL 値を許可しない、[リマーク]、[推奨標準]、[データクラス]、および [データ感度レベル] など、各フィールドの詳細が表示されます。
[操作] 列でフィールドを [削除] することもできます。 説明 フィールドの削除は元に戻せません。 |
③一括操作 | 複数のテーブルフィールドを選択し、次のバッチ操作を実行できます。
|
ステップ 3: ストレージの構成
MaxCompute および Hadoop コンピュートエンジンでサポートされるストレージ構成は、次の表に示すように、[ストレージファイル形式] によって異なります。
ストレージ形式が hudi の場合
パラメータ | 説明 |
データ更新タイプ (オプション) | [タイプ] を選択します。[Cow (Copy On Write)] または [Mor (Merge On Read)] を選択できます。 |
[プライマリキーとマージソートキー] (オプション) |
|
[データ分散] | [パーティション] を有効または無効にします。この機能はデフォルトで無効になっています。 パーティションを有効にする場合は、フィールドリストから [パーティションキー] の 1 つ以上のフィールドも選択する必要があります。 説明 [パーティションキー] では、リスト内のすべてのフィールドをパーティションフィールドとして選択することはできません。 |
[ストレージの場所] (オプション) | [場所] (ストレージの場所) を入力します。グローバル変数を使用できます。値の長さは最大 512 文字です。 説明 外部テーブルでは external キーワードを省略できます。CREATE TABLE 文に location 句が含まれている場合、作成されるテーブルは外部テーブルです。 |
パラメーターを構成したら、[送信] をクリックします。[送信] ダイアログボックスで、テーブルを作成するための SQL 文を確認し、[確認して送信] をクリックします。
Hudi DDL 文の詳細については、「SQL DDL」および「スキーマ進化」をご参照ください。
[場所] (ストレージの場所) が空の場合、CREATE TABLE 文に location 句は含まれません。
現在のコンピュートエンジンが Hadoop の場合、Spark SQL が使用されます。現在のコンピュートエンジンが Lindorm または Databricks の場合、コンピュートソースのデフォルトの SQL が使用されます。
ストレージ形式が delta (Delta Lake) の場合
パラメータ | 説明 |
[データ分散] |
説明
|
[ストレージの場所] (オプション) | [場所] (ストレージの場所) を入力します。グローバル変数を使用できます。値の長さは最大 512 文字です。 説明 外部テーブルでは external キーワードを省略できます。CREATE TABLE 文に location 句が含まれている場合、作成されるテーブルは外部テーブルです。 |
パラメーターを構成したら、[送信] をクリックします。[送信] ダイアログボックスで、テーブルを作成するための SQL 文を確認し、[確認して送信] をクリックします。
Delta DDL 文の詳細については、「ALTER TABLE」をご参照ください。
[場所] (ストレージの場所) が空の場合、CREATE TABLE 文に location 句は含まれません。
現在のコンピュートエンジンが Hadoop の場合、Spark SQL が使用されます。現在のコンピュートエンジンが Lindorm または Databricks の場合、コンピュートソースのデフォルトの SQL が使用されます。
ストレージ形式が iceberg の場合
パラメーター | 説明 |
パーティション | この機能はデフォルトで無効になっています。有効にする場合は、[パーティションキー] を構成する必要があります。 パーティションキー: フィールドリストから 1 つ以上のフィールドを選択します。手動でフィールドを入力することもできます。複数のフィールドはカンマ (,) で区切ります。 |
[場所] | [場所] (ストレージの場所) を入力します。グローバル変数を使用できます。値の長さは最大 512 文字です。 説明 外部テーブルでは |
パラメーターを構成したら、[送信] をクリックします。[送信] ダイアログボックスで、テーブルを作成するための SQL 文を確認し、[確認して送信] をクリックします。
[場所] (ストレージの場所) が空の場合、CREATE TABLE 文に location 句は含まれません。
現在のコンピュートエンジンが Hadoop の場合、Spark SQL が使用されます。現在のコンピュートエンジンが Lindorm の場合、コンピュートソースのデフォルトの SQL が使用されます。
ストレージ形式が paimon の場合
パラメーター | 説明 |
主キー | 1 つ以上の主キーを選択します。選択後、テーブルモードも構成する必要があります。 |
テーブルモード | テーブルモード (データ更新タイプ) を選択します。オプションは [MOR]、[COW]、および [MOW] です。 |
パーティション | この機能はデフォルトで無効になっています。有効にする場合は、[パーティションキー] を構成する必要があります。 パーティションキー: フィールドリストから 1 つ以上のフィールドを選択します。 |
場所 | [場所] (ストレージの場所) を入力します。グローバル変数を使用できます。値の長さは最大 512 文字です。 説明 外部テーブルでは |
パラメーターを構成したら、[送信] をクリックします。[送信] ダイアログボックスで、テーブルを作成するための SQL 文を確認し、[確認して送信] をクリックします。
[場所] (ストレージの場所) が空の場合、CREATE TABLE 文に location 句は含まれません。
現在のコンピュートエンジンが Hadoop の場合、Spark SQL が使用されます。
その他のストレージ形式
パラメータ | 説明 |
ストレージタイプ | [管理対象テーブル] または [外部テーブル] を選択します。[外部テーブル] を選択した場合は、[場所] も構成する必要があります。 |
場所 | [場所] (ストレージの場所) を入力します。グローバル変数を使用できます。値の長さは最大 512 文字です。 |
パラメーターを構成したら、[送信] をクリックします。[送信] ダイアログボックスで、テーブルを作成するための SQL 文を確認し、[確認して送信] をクリックします。
現在のコンピュートエンジンが Hadoop で、ストレージ形式が kudu の場合、Impala SQL が使用されます。
MaxCompute コンピュートエンジン
MaxCompute 内部テーブル
パラメータ
説明
[ストレージタイプ]
[管理テーブル] を選択します。
トランザクションテーブル
[はい] または [いいえ] を選択します。[はい] を選択した場合は、[主キー] を構成してテーブルを Delta テーブルとして作成することもできます。
主キー (オプション)
1 つ以上の主キーを選択します。フィールドリストから任意のフィールドを選択できます。複数の主キーを選択した場合、選択した順にソートされます。
ライフサイクル (オプション)
テーブルの保持期間。日単位で正の整数を入力するか、[7]、[14]、[30]、または [360] 日を選択できます。
MaxCompute 外部テーブル
パラメータ
説明
[ストレージタイプ]
[外部テーブル] を選択します。
[ストレージファイル形式]
ストレージ形式を選択します。デフォルトの形式は、開発プラットフォームのテーブル管理設定で指定された外部テーブルのデフォルトのストレージ形式と同じです。[parquet]、[avro]、[rcfile]、[orc]、[textfile]、または [sequencefile] を選択できます。
[場所]
[場所] (ストレージの場所) を入力します。グローバル変数を使用できます。値の長さは最大 512 文字です。
パラメーターを構成したら、[送信] をクリックします。[送信] ダイアログボックスで、テーブルを作成するための SQL 文を確認し、[確認して送信] をクリックします。
DWS/AnalyticDB for PostgreSQL コンピュートエンジン
テーブル制約: [制約の追加] をクリックして制約を追加します。[制約タイプ]、[制約設定]、および [遅延可能ポリシー] を構成する必要があります。
パラメーター
説明
制約タイプ
[主キー]、[一意制約]、または [CHECK 制約] を選択します。
制約設定
[制約タイプ] が [主キー] に設定されている場合: text、character varying (varchar)、bigint (int8)、smallint (int2)、または integer (int/int4) のデータの型を持つ 1 つ以上のフィールドを選択します。
説明テーブルには 1 つの主キー制約しか設定できません。
フィールドリストで既に主キーが選択されている場合、システムはテーブルレベルで自動的に主キー制約を追加します。制約は、フィールドリストで選択されたフィールドに設定されます。
[制約タイプ] が [一意制約] に設定されている場合: 1 つ以上のフィールドを選択します。フィールドリスト内のすべてのフィールドが選択可能です。
[制約タイプ] が [CHECK 制約] に設定されている場合: 任意の文字を入力します。値の長さは最大 512 文字です。
遅延可能ポリシー
[遅延不可]、[初期状態で即時]、または [初期状態で遅延] を選択します。デフォルト値は [遅延不可] です。
説明このパラメーターは、制約タイプが [CHECK 制約] の場合はサポートされません。
[削除] アイコンをクリックして、対応する制約を削除します。
配布方法 (配布元) (任意)：
AnalyticDB for PostgreSQL コンピュートエンジン: [RANDOMLY]、[BY(<columns>)]、または [REPLICATED] を選択します。
DWS コンピュートエンジン: [REPLICATION]、[ROUNDROBIN]、または [BY HASH(<columns>)] を選択します。[BY HASH(<columns>)] を選択した場合は、分散フィールドも選択する必要があります。フィールドリスト内のすべてのフィールドが選択可能です。
パーティション: [パーティションの追加] をクリックしてパーティションフィールドを追加します。[パーティションタイプ] に基づいてパラメーターを構成します。[削除] アイコンをクリックして、対応するパーティションフィールドとそのすべてのデータパーティション情報を含めて削除します。
[パーティションタイプ] が [LIST] または [RANGE] の場合:
パーティションフィールド: パーティションフィールドを選択するか、手動で式を入力します。
AnalyticDB for PostgreSQL コンピュートエンジン (データベースバージョン 6.x) は単一フィールドパーティショニングのみをサポートします。AnalyticDB for PostgreSQL コンピュートエンジン (データベースバージョン 7.x) および DWS コンピュートエンジンは式をサポートします。
パーティション名とパーティション値: [追加] アイコンをクリックしてデータパーティションを追加します。[削除] アイコンをクリックして、対応するデータパーティションを削除します。
説明コンピュートエンジンが AnalyticDB for PostgreSQL (データベースバージョン 6.x) の場合、システムは自動的にデフォルトのパーティションを追加します。パーティション名はオプションです。パーティション名を指定しない場合は、少なくとも 1 つのデータパーティションを追加する必要があります。
コンピュートエンジンが DWS の場合、少なくとも 1 つのデータパーティションを追加する必要があります。
コンピュートエンジンが AnalyticDB for PostgreSQL (データベースバージョン 7.x) の場合、データパーティションを追加する必要はありません。
パーティション名: 名前には、英字、数字、アンダースコア (_) のみを使用できます。名前の長さは最大 63 文字です。
説明パーティションはそれ自体がテーブルです。完全なパーティションテーブル名のデフォルト形式は
<primary_table_name>_<partition_level#>_prt_<partition_name>です。[パーティション値] :
[パーティションタイプ] が [LIST] の場合: 任意の文字を入力します。値の長さは最大 512 文字です。値が text、varchar、char などのテキスト型の場合は、単一引用符 (') で囲みます。
[パーティションタイプ] が [RANGE] の場合: [START]、[END]、および [EVERY] を構成します。任意の文字を入力できます。値の長さは最大 512 文字です。値が text、varchar、char などのテキスト型の場合は、単一引用符 (') で囲みます。
[START] と [END] については、[INCLUSIVE] または [EXCLUSIVE] も選択する必要があります。[START] のデフォルト値は [INCLUSIVE] です。[END] のデフォルト値は [EXCLUSIVE] です。
説明パーティション値の有効性は、パーティションフィールドのデータの型に依存します。
[パーティションタイプ] が [HASH] の場合: パーティションフィールドを構成するだけで、データパーティションを構成する必要はありません。パーティションフィールドの構成は、LIST および RANGE タイプと同じです。
説明REPLICATED 分散方法を持つテーブルは、パーティショニングをサポートしていません。
コンピュートエンジンが DWS の場合、マルチレベルパーティショニングはサポートされていません。
HASH パーティションタイプは、コンピュートエンジンが AnalyticDB for PostgreSQL (データベースバージョン 7.x) の場合にのみサポートされます。
データのインポート
オフライン物理テーブルを送信した後、データをインポートできます。
テーブルリストで、目的のオフライン物理テーブルをクリックします。名前でテーブルを検索できます。
テーブル詳細ページで、[データのインポート] をクリックして、[データのインポート] ダイアログボックスを開きます。
[データのインポート] ダイアログボックスで、データファイルをアップロードし、[基本構成] ステップでインポートパラメーターを構成します。
パラメータ
説明
[ファイルのアップロード]
[ファイルの選択] をクリックしてデータファイルをアップロードします。.txt および .csv ファイルのみがサポートされています。ファイルサイズは 10 MB を超えることはできません。
[区切り文字]
データ区切り文字。サポートされている区切り文字には、カンマ (,)、タブ文字 (\t)、縦線 (|)、およびスラッシュ (/) があります。別の区切り文字を指定することもできます。
[文字セットエンコーディング]
アップロードされたデータファイルの文字セットエンコーディングを選択します。サポートされている文字セットには、UTF-8 (BOM なし)、UTF-8 (BOM あり)、GBK、Big5、GB2312、ASCII、および UTF-16 があります。
最初の行をヘッダーとして使用
アップロードされたデータファイルの最初の行がヘッダーであるかどうかを指定します。
[ターゲットパーティション]
テーブルがパーティションテーブルの場合、インポートされたデータの [ターゲットパーティション] の名前を入力します。
[次へ] をクリックします。
[データのインポート] ステップで、テーブルのフィールドマッピングを構成します。
[マッピング]:
行マッピング: 行番号に基づいてフィールドをバインドします。
名前マッピング: 同じ名前に基づいてフィールドをバインドします。
インポートファイルデータ列: 値をデータ列、NULL、または静的フィールドに設定できます。
[インポート開始] をクリックして、テーブルにデータをインポートします。
オフライン物理テーブルの編集
オフライン物理テーブルを送信した後、編集できます。
テーブルリストで、目的のオフライン物理テーブルをクリックします。名前でテーブルを検索できます。
テーブル詳細ページで、[編集] をクリックして [物理テーブルの編集] ページを開きます。
編集可能なパラメーターは、次の表に示すように、ストレージ形式によって異なります。
ストレージ形式が hudi の場合
タブ
説明
[基本情報]
[テーブル名] と [説明] のみを編集できます。パラメーター要件は、オフライン物理テーブルを作成するときと同じです。
[フィールドリスト]
Hudi システムフィールドを除き、フィールドの名前とタイプを編集および削除できます。Hudi システムフィールドには次のものが含まれます。
_hoodie_commit_time
_hoodie_commit_seqno
_hoodie_record_key
_hoodie_partition_path
_hoodie_file_name
説明フィールド名やデータの型を変更したり、フィールドを追加または削除したりすると、操作がコンピュートエンジンでサポートされていないためにエラーが報告される場合があります。
[ストレージの構成]
[タイプ]、[primaryKey]、[preCombineField]、および [場所] のみを編集できます。[場所] は、現在のデータテーブルが外部テーブルである場合にのみ編集できます。
編集が完了したら、[送信] をクリックします。送信にはコンピュートソースのデフォルトの SQL が使用されます。[送信] ダイアログボックスで、テーブルの SQL 文を確認し、[確認して送信] をクリックします。
説明Hudi テーブルのフィールドの名前変更、削除、またはタイプの変更時にエンジンエラーが発生した場合は、エンジンサービスプロバイダーに連絡してエンジン設定を確認してください。
ストレージ形式が delta (Delta Lake) の場合
タブ
説明
[基本情報]
[テーブル名] と [説明] のみを編集できます。パラメーター要件は、オフライン物理テーブルを作成するときと同じです。
[フィールドリスト]
既存のフィールドを編集および削除し、新しいフィールドを追加できます。パラメーター要件は、オフライン物理テーブルを作成するときと同じです。
[ストレージの構成]
データ分散
Liquid Clustering が有効になっている場合、無効にするか、別の [クラスター化キー] フィールドを選択できます。
Liquid Clustering とパーティションの両方が無効になっている場合、Liquid Clustering を有効にして [クラスター化キー] フィールドを指定できます。
Liquid Clustering とパーティションの両方が無効になっている場合、パーティションを有効にすることはできません。
パーティションが有効になっている場合、Liquid Clustering、パーティション、またはパーティションキーを変更することはできません。
ストレージの場所: [場所] は、現在のデータテーブルが外部テーブルである場合にのみ編集できます。
編集が完了したら、[送信] をクリックします。送信にはコンピュートソースのデフォルトの SQL が使用されます。[送信] ダイアログボックスで、テーブルの SQL 文を確認し、[確認して送信] をクリックします。
ストレージ形式が iceberg の場合
タブ
説明
基本情報
[テーブル名] と [説明] のみを編集できます。パラメーター要件は、オフライン物理テーブルを作成するときと同じです。
フィールドリスト
フィールド名とデータの型を編集できます。フィールドを追加および削除することもできます。
説明フィールド名やデータの型を変更したり、フィールドを追加または削除したりすると、操作がコンピュートエンジンでサポートされていないためにエラーが報告される場合があります。
ストレージ構成
[場所] は、現在のデータテーブルが外部テーブルである場合にのみ編集できます。
編集が完了したら、[送信] をクリックします。現在のコンピュートエンジンが Hadoop の場合、Spark SQL が使用されます。現在のコンピュートエンジンが Lindorm の場合、コンピュートソースのデフォルトの SQL が使用されます。
[送信] ダイアログボックスで、テーブルの SQL 文を確認し、[確認して送信] をクリックします。
ストレージ形式が paimon の場合
タブ
説明
基本情報
[テーブル名] と [説明] のみを編集できます。パラメーター要件は、オフライン物理テーブルを作成するときと同じです。
フィールドリスト
フィールド名とデータの型を編集できます。フィールドを追加および削除することもできます。
説明フィールド名やデータの型を変更したり、フィールドを追加または削除したりすると、操作がコンピュートエンジンでサポートされていないためにエラーが報告される場合があります。
ストレージ構成
[場所] は、現在のデータテーブルが外部テーブルである場合にのみ編集できます。
編集が完了したら、[送信] をクリックします。送信には Spark SQL が使用されます。[送信] ダイアログボックスで、テーブルの SQL 文を確認し、[確認して送信] をクリックします。
MaxCompute コンピュートエンジン
MaxCompute 内部テーブル
タブ
説明
[基本情報]
[テーブル名] と [説明] のみを編集できます。パラメーター要件は、オフライン物理テーブルを作成するときと同じです。
[フィールドリスト]
既存のフィールドを編集および削除し、新しいフィールドを追加できます。パラメーター要件は、オフライン物理テーブルを作成するときと同じです。データの型を変更すると DDL 文が生成されます。
フィールドの [NULL 値を許可しない] チェックボックスをオフにできます。
現在のテーブルが内部トランザクションテーブルの場合、主キーとして設定されているフィールドの [NULL 値を許可しない] チェックボックスをオフにすることはできません。
[NULL 値を許可しない] チェックボックスは、既に選択されているフィールドに対してのみオフにできます。
[ストレージの構成]
[ライフサイクル] を編集できます。要件は、オフライン物理テーブルを作成するときと同じです。
MaxCompute 外部テーブル
タブ
説明
[基本情報]
[テーブル名] と [説明] のみを編集できます。パラメーター要件は、オフライン物理テーブルを作成するときと同じです。
[フィールドリスト]
既存のフィールドを編集および削除し、新しいフィールドを追加できます。パラメーター要件は、オフライン物理テーブルを作成するときと同じです。データの型を変更すると DDL 文が生成されます。
[NULL 値を許可しない] チェックボックスは、既に選択されているフィールドに対してのみオフにできます。
[ストレージの構成]
[ストレージの場所] (場所) を編集できます。パラメーター要件は、オフライン物理テーブルを作成するときと同じです。
編集が完了したら、[送信] をクリックします。[送信] ダイアログボックスで、テーブルの SQL 文を確認し、[確認して送信] をクリックします。
説明変更にフィールドの削除またはデータの型の変更が含まれる場合、まず MaxCompute でプロジェクトレベルでスキーマ進化を有効にするために次のコマンドを実行する必要があります:
setproject odps.schema.evolution.enable=true;。DWS/AnalyticDB for PostgreSQL コンピュートエンジン
タブ
説明
基本情報
[テーブル名]、[データドメイン]、および [説明] のみを編集できます。パラメーター要件は、オフライン物理テーブルを作成するときと同じです。
フィールドリスト
既存のフィールドを編集および削除し、新しいフィールドを追加できます。パラメーター要件は、オフライン物理テーブルを作成するときと同じです。データの型を変更すると DDL 文が生成されます。
フィールドの [NULL 不可] オプションの変更をサポートします。
主キーを再選択することはできません。必要に応じて、テーブルレベルの制約を編集して主キーを変更できます。
ストレージ構成
[テーブル制約] と [分散方法] を編集できます。要件は、オフライン物理テーブルを作成するときと同じです。[アセット] > [オブジェクト詳細] > [フィールド] でパーティション情報を見つけることができます。
次のステップ
開発モードが Dev-Prod の場合、オフライン物理テーブルを公開する必要があります。詳細については、「公開タスクの管理」をご参照ください。
開発モードが Basic の場合、アセットディレクトリで送信されたオフライン物理テーブルを管理できます。詳細については、「」をご参照ください。