MaxCompute:Paimon-DLF 外部プロジェクト

ステップ 1：権限の付与

ステップ 2：Paimon_DLF 外部データソースの作成

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションウィンドウで、設定管理 > 外部データソース を選択します。

3. 外部データソース ページで、外部データソースの作成 をクリックします。

4. 外部データソースの作成 ダイアログボックスで、パラメーターを設定します。次の表で、パラメーターについて説明します。

   パラメーター	必須	説明
   外部データソースタイプ	はい	Paimon_DLF を選択します。
   外部データソース名	はい	カスタム名を入力します。名前は次の要件を満たす必要があります： 文字で始まり、小文字、数字、アンダースコア (_) のみを含むこと。 長さが 128 文字を超えないこと。 たとえば、paimon_dlf と入力できます。
   外部データソースの説明	いいえ	必要に応じて説明を入力します。
   リージョン	はい	現在のリージョンがデフォルトで選択されます。
   認証と認可	はい	デフォルト値は Alibaba Cloud RAM ロールです。
   サービスロールの関連付け	はい	ロールはデフォルトで生成されます。
   エンドポイント	はい	エンドポイントは自動的に生成されます。中国 (杭州) リージョンの場合、エンドポイントは cn-hangzhou-intranet.dlf.aliyuncs.com です。
   外部データソースの補足プロパティ	いいえ	これらのプロパティは、このデータソースを使用するタスクがソースシステムにアクセスする方法を定義します。 説明 サポートされるパラメーターは、製品の進化に伴い、今後のドキュメント更新で拡張される予定です。

5. 確認 をクリックして、外部データソースを作成します。

6. 外部データソース ページで、データソースを見つけ、操作 列の 詳細 をクリックしてその詳細を表示します。

ステップ 3：外部プロジェクトの作成

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションウィンドウで、設定管理 > プロジェクト管理 を選択します。

3. 外部プロジェクト タブで、プロジェクトの作成 をクリックします。

4. プロジェクトの作成 ダイアログボックスで、設定を構成して 決定 をクリックします。

   パラメーター	必須	説明
   プロジェクトタイプ	はい	デフォルト値は外部プロジェクトです。
   リージョン	はい	現在のリージョンがデフォルトで選択され、変更できません。
   プロジェクト名 (グローバルに一意)	はい	名前は 3～28 文字の長さで、文字で始まり、文字、数字、アンダースコア (_) のみを含む必要があります。
   MaxCompute 外部データソースタイプ	いいえ	デフォルト値は Paimon_DLF です。
   MaxCompute 外部データソース	いいえ	既存：既存の外部データソースのリストを表示します。 新規外部データソース：新しい外部データソースを作成して使用できます。
   MaxCompute 外部データソース名称	はい	既存のデータソースを使用することを選択した場合、ドロップダウンリストからその名前を選択します。 新しいデータソースを作成することを選択した場合、その名前が自動的に使用されます。
   データカタログ	はい	DLF データカタログ。
   計算リソースの課金タイプ	はい	サブスクリプション または 従量課金 を選択します。
   デフォルト Quota	はい	既存のクォータを選択します。
   説明	いいえ	カスタムのプロジェクト説明を入力します。

ステップ 4：SQL を使用したデータソースへのアクセス

1. 接続ツールを選択して外部プロジェクトにログインします。

   次の例では、DataWorks ワークスペース (新バージョン) でのデータ開発に SQL ノードを使用します。

   1. DataWorks コンソールにログインし、左上隅でリージョンを選択します。

   2. 左側のナビゲーションウィンドウで、ワークスペース を選択します。

   3. ワークスペース一覧 ページで、ワークスペースの作成 をクリックするか、既存のワークスペースの名前をクリックします。

   4. ワークスペースの詳細 ページの左側のナビゲーションウィンドウで、計算リソース をクリックします。

   5. 計算リソース ページで、計算リソースのアタッチ をクリックし、MaxCompute を選択します。

   6. 基本情報を、MaxCompute 計算リソースのアタッチ用に設定します。

      MaxCompute プロジェクトには、外部プロジェクトを選択します。

2. 外部プロジェクト内のスキーマをリスト表示します。

   -- セッションレベルでスキーマ構文を有効にします。
   SET odps.namespace.schema=true;
   SHOW schemas;
   -- 結果の例
   ID = 20250919****am4qb
   default
   system
   OK

3. 外部プロジェクト内のスキーマにあるテーブルをリスト表示します。

   現在の環境で本番の外部プロジェクトからテーブルにアクセスする必要がある場合は、すべての SQL ステートメントの前に use external_project_pro; を追加します。

   -- schema_name は、外部プロジェクトで SHOW SCHEMAS によって返されるスキーマ名です。
   SET odps.namespace.schema=true;
   USE schema <schema_name>;
   SHOW tables;
   -- 結果
   ID = 20250919****am4qb
   acs:ram::<uid>:root  emp
   OK

4. 外部プロジェクトに新しいスキーマを作成します。

   -- この例では、schema_name は schema_demo_test です。
   SET odps.namespace.schema=true;
   CREATE schema <schema_name>;

5. テーブルを作成し、スキーマにデータを挿入します。

   RAM ユーザーとしてログインしている場合、この操作には DLF カタログに対する権限が必要です。権限の付与方法については、「データ権限管理」をご参照ください。

   • コマンド形式：

     -- テーブルを作成します。
     CREATE TABLE [IF NOT EXISTS] <table_name> 
     (
       <col_name> <data_type>,
       ...
     )
     [COMMENT <table_comment>]
     [PARTITIONED BY (<col_name> <data_type>, ...)] 
     ;
     -- データを挿入します。
     INSERT {INTO|OVERWRITE} TABLE <table_name> [PARTITION (<pt_spec>)] [(<col_name> [,<col_name> ...)]]
     <select_statement>
     FROM <from_statement>

   • 例：

     説明

     ソースの Paimon テーブルの低精度 TIMESTAMP 型の場合、書き込み操作中にデータは次のように切り捨てられます：精度 0～3 は小数点以下 3 桁に、4～6 は 6 桁に、7～9 は 9 桁に切り捨てられます。

     SET odps.namespace.schema=true;
     USE schema <schema_name>;
     
     CREATE TABLE schema_table(id int,name string);
     INSERT INTO schema_table VALUES (101,'田中 一郎'),(102,'鈴木 二郎');
     
     -- schema_table テーブルをクエリします。
     SET odps.namespace.schema=true;
     USE schema <schema_name>;
     SELECT * FROM schema_table;
     
     -- 結果
     +------------+------------+
     | id         | name       | 
     +------------+------------+
     | 101        | 田中 一郎  | 
     | 102        | 鈴木 二郎  | 
     +------------+------------+

6. 既存の default スキーマに切り替えます。

   use schema default;
   SHOW tables;
   
   -- 結果の例
   ID = 20250919*******yg5
   acs:ram::<uid>:root	emp
   acs:ram::<uid>:root	emp_detail
   acs:ram::<uid>:root	test_table
   OK
   
   -- テーブルからデータを読み取ります。
   SET odps.namespace.schema=true;
   USE schema default;
   SELECT * FROM test_table;
   -- 結果
   +------------+------------+
   | id         | name       | 
   +------------+------------+
   | 101        | 田中 一郎  | 
   | 102        | 鈴木 二郎  | 
   +------------+------------+
   
   -- テーブルにデータを書き込み、クエリを実行して書き込み操作を検証します。
   SET odps.namespace.schema=true;
   USE schema default;
   INSERT INTO test_table VALUES (103,'佐藤 三郎');
   
   SET odps.namespace.schema=true;
   USE schema default;
   SELECT * FROM test_table;
   -- 結果
   +------------+------------+
   | id         | name       | 
   +------------+------------+
   | 101        | 田中 一郎  | 
   | 102        | 鈴木 二郎  | 
   | 103        | 佐藤 三郎  | 
   +------------+------------+

例

バケット、プライマリキー、パーティションを持つ Paimon 外部テーブルの作成

1. テーブルを作成し、その外部パラメーターを設定します

   -- ご利用の外部プロジェクトに切り替えます。既にその中にいる場合は、このステップをスキップできます。
   use <your external project>;
   -- セッションレベルでスキーマ構文を有効にします。
   SET odps.namespace.schema=true;
   -- 使用するスキーマを選択します。
   use schema <your schema>;
   CREATE TABLE oss_extable_bucket_pk_pt_bucket
   (
       id BIGINT,
       name STRING,
       dt STRING
   )tblproperties (
       'mcfed.bucket'='3', -- バケット数
       'mcfed.bucket-key'='id', -- バケットキー。プライマリキーが指定されている場合はオプションです。
       "mcfed.primary-key"="dt,id", -- プライマリキー
       "mcfed.partition"="dt" -- パーティションフィールド
       );

2. 外部テーブルにデータを挿入します

   use <your external project>;
   SET odps.namespace.schema=true;
   use schema <your schema>;
   
   INSERT INTO oss_extable_bucket_pk_pt_bucket PARTITION (dt='2025-06-18') 
     VALUES (1, 'Alice'),(2, 'Bob');
   INSERT INTO oss_extable_bucket_pk_pt_bucket PARTITION (dt='2025-06-19') 
     VALUES (3, 'Charlie'),(4, 'David'),(5, 'Eva');

3. 外部テーブルをクエリします

   use <your external project>;
   SET odps.namespace.schema=true;
   use schema <your schema>;
   
   SELECT * FROM oss_extable_bucket_pk_pt_bucket;
   
   -- 結果：
   +------------+---------+------------+
   | id         | name    | dt         |
   +------------+---------+------------+
   | 1          | Alice   | 2025-06-18 |
   | 2          | Bob     | 2025-06-18 |
   | 4          | David   | 2025-06-19 |
   | 3          | Charlie | 2025-06-19 |
   | 5          | Eva     | 2025-06-19 |
   +------------+---------+------------+
   

4. Data Lake Formation (DLF) コンソールにログインし、左上隅でリージョンを選択します。

   カタログでテーブルの詳細を表示します。

問題 1：外部プロジェクト作成時のエラー

問題：外部プロジェクトを作成しようとすると、「You are not authorized to perform this action.」というエラーメッセージが表示されます。

エラー詳細では、エラーコードは NoMCPermission です。

解決策：

1. RAM ユーザーを使用している場合、AliyunMaxComputeFullAccess ポリシーが RAM ユーザーにアタッチされていることを確認してください。詳細については、ステップ 1 をご参照ください。

2. この操作では、Data Lake Formation (DLF) からカタログを選択する必要があります。DLF 操作に必要な権限があることを確認してください。詳細については、ステップ 1 をご参照ください。

問題 2：デフォルトスキーマでの SHOW TABLES 実行エラー

問題：外部プロジェクトのデフォルトスキーマで SHOW TABLES コマンドを実行すると、「Forbidden:User acs: ram: :<uid>:user/** doesn't have privilege LIST on DATABASE default」というエラーメッセージが表示されます。

解決策：

1. Data Lake Formation (DLF) コンソールにログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションウィンドウで、System & Securityを選択します。

3. Access Control > Users タブで、ページをリフレッシュして、現在の RAM ユーザーが存在するかどうかを確認します。

4. ユーザーが存在する場合は、Access Control > ロール タブに移動して、RAM ユーザーに権限を付与します。

問題 3：「invalid database operations on two-tier」エラー

問題：外部プロジェクトで SHOW SCHEMAS コマンドを実行すると、「invalid database operations on two-tier」というエラーメッセージが表示されます。

解決策：

1. まず、外部プロジェクトを使用していることを確認してください。

   1. DataWorks SQL ノードを使用している場合、右側のペインで [デバッグ設定] をクリックし、バインドされている計算リソースが外部プロジェクトであることを確認します。

   2. DataWorks SQL 分析を使用している場合、右上隅の [データソース] をクリックし、バインドされているデータソースが外部プロジェクトであることを確認します。

   3. MaxCompute SQL 分析を使用している場合、右側のペインで [実行設定] をクリックし、計算リソースセクションで選択されているプロジェクトが外部プロジェクトであることを確認します。

   4. odpscmd を使用している場合、odps_config.ini ファイルの project_name パラメーターの値を確認し、それが外部プロジェクトの名前に設定されていることを確認します。

2. 外部プロジェクトを使用していることを確認した後、次の SQL ステートメントを一緒に選択して実行します。

   -- セッションレベルでスキーマ構文を有効にします。
   SET odps.namespace.schema=true;
   SHOW schemas;

問題 4：SHOW SCHEMAS がデフォルトスキーマのみを返す

問題：外部プロジェクトで SHOW SCHEMAS コマンドを実行すると、コマンドは 'default' のみを返します。

解決策：

1. まず、外部プロジェクトを使用していることを確認してください。

   1. DataWorks SQL ノードを使用している場合、右側のペインで [デバッグ設定] をクリックし、バインドされている計算リソースが外部プロジェクトであることを確認します。

   2. DataWorks SQL 分析を使用している場合、右上隅の [データソース] をクリックし、バインドされているデータソースが外部プロジェクトであることを確認します。

   3. MaxCompute SQL 分析を使用している場合、右側のペインで [実行設定] をクリックし、計算リソースセクションで選択されているプロジェクトが外部プロジェクトであることを確認します。

   4. odpscmd を使用している場合、odps_config.ini ファイルの project_name パラメーターの値を確認し、それが外部プロジェクトの名前に設定されていることを確認します。

2. 外部プロジェクトを使用していることを確認した後、Data Lake Formation (DLF) コンソールにログインし、外部プロジェクトにバインドされているカタログに他のデータベースが存在するかどうかを確認します。

3. ステップ 1 と 2 の検証を完了しても、SHOW SCHEMAS コマンドが期待されるデータベースを返さない場合は、チケットを送信して問題を報告してください。

問題 5：「Dynamic bucket」エラー

問題：外部プロジェクトで SHOW TABLES コマンドを実行すると、次のエラーメッセージが表示されます：

ODPS-0110005: 
com.aliyun.odps.meta.exception.MetaException: 
com.aliyun.odps.common.table.na.NativeException: 
common/table/jni/utils/jni_helper.cpp(79): UnretryableException: Common table connector exception 
  - ExceptionType: java.lang.IllegalArgumentException 
  - Message: You should use dynamic bucket (bucket = -1) mode in cross partition update case (Primary key constraint [sending_time, symbol, sequence_number] not include all partition fields [pt]).[pt])

解決策：

このエラーは、MaxCompute が固定バケットを持つクロスパーティションプライマリキーテーブルをサポートしていないために発生します。

一時的な回避策：Data Lake Formation (DLF) コンソールで、サポートされていないクロスパーティション PK テーブルを削除します。

問題 6：「Can't set default schema...」エラー

問題：SHOW TABLES または SHOW SCHEMAS を実行すると、「FAILED: Can't set default schema if odps.namespace.schema is false.」というエラーメッセージが表示されます。

解決策：

1. まず、SQL ステートメントの前にセッションフラグ SET odps.namespace.schema=true; を追加して、スキーマ構文を有効にしていることを確認してください。

2. フラグを有効にしてもエラーが解決しない場合は、ステートメントの順序を確認してください。別の外部プロジェクトからテーブルを読み取るには、次の順序でコマンドを使用します：

   USE external_project;
   SET odps.namespace.schema=true;
   USE schema schema_name;
   SHOW tables;

問題 7：「Failed to connect to...dlf.aliyuncs.com」エラー

問題：Paimon_DLF 外部プロジェクトのテーブルからデータを読み取ろうとすると、「Caused by: java.net.ConnectException: Failed to connect to cn-***-intranet.dlf.aliyuncs.com/xx.xx.xx.xx:80」のようなエラーメッセージが表示されます。

このエラーは、ジョブが実行される内部プロジェクトの許可リストにアドレス cn-***-intranet.dlf.aliyuncs.com を追加する必要があることを示しています。

解決策：

1. 申請リンクを使用するか、DingTalk でグループ ID 11782920 を検索して、MaxCompute 開発者コミュニティの DingTalk グループに参加します。MaxCompute テクニカルサポートチームに連絡し、エラーメッセージのアドレスを許可リストに追加するよう依頼してください。

2. アドレスが許可リストに追加されたら、読み取り操作の前に次のパラメーターを含めます。

   set odps.security.outbound.intranetlist=cn-***-intranet.dlf.aliyuncs.com:80;
   set odps.internet.access.list=cn-***-intranet.dlf.aliyuncs.com:80;

問題 8：Failed to connect Http service: http://clg-paimon-***.oss-cn-***-internal.aliyuncs.com

問題：Paimon_DLF 外部プロジェクトのテーブルからデータを読み取ろうとすると、「open failed, get file internal error:Failed to connect Http service: http://clg-paimon-***.oss-cn-***-internal.aliyuncs.com/***」のようなエラーメッセージが表示されます。

このエラーは、ジョブが実行される内部プロジェクトの許可リストにアドレス cn-***-intranet.dlf.aliyuncs.com を追加する必要があることを示しています。

解決策：

1. 申請リンクを使用するか、DingTalk でグループ ID 11782920 を検索して、MaxCompute 開発者コミュニティの DingTalk グループに参加します。MaxCompute テクニカルサポートチームに連絡し、エラーメッセージのアドレスを許可リストに追加するよう依頼してください。

2. アドレスが許可リストに追加されたら、読み取り操作の前に次のパラメーターを含めます。

   set odps.security.outbound.intranetlist=clg-paimon-***.oss-cn-***-internal.aliyuncs.com:80;
   set odps.internet.access.list=clg-paimon-***.oss-cn-***-internal.aliyuncs.com:80；