MaxCompute:OSS external tables

構文

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name> 
(
<col_name> <data_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)] 
STORED BY '<StorageHandler>'  
WITH serdeproperties (
 ['<property_name>'='<property_value>',...]
) 
location '<oss_location>';

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
<col_name> <data_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)]
[row format serde '<serde_class>'
  [WITH serdeproperties (
    ['<property_name>'='<property_value>',...])
  ]
]
STORED AS <file_format> 
location '<oss_location>' 
[USING '<resource_name>']
[tblproperties ('<tbproperty_name>'='<tbproperty_value>',...)];

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name> 
(
<col_name> <date_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)] 
STORED BY '<StorageHandler>' 
WITH serdeproperties (
 ['<property_name>'='<property_value>',...]
) 
location '<oss_location>' 
USING '<jar_name>';

パラメーター

以下のパラメーターは、すべての外部テーブル形式で共通です。形式固有のパラメーターについては、各形式のドキュメントをご参照ください。

• 基本構文パラメーター

  パラメーター	必須	説明
  mc_oss_extable_name	はい	作成する OSS 外部テーブルの名前。 テーブル名は大文字と小文字を区別せず、特定の大文字小文字に強制的に変換することはできません。
  col_name	はい	OSS 外部テーブルの列の名前。 外部テーブルのスキーマは OSS データファイルのスキーマと一致する必要があります。そうでない場合、データは読み取れません。
  data_type	はい	OSS 外部テーブルの列のデータ型。 各列のデータ型は、対応する OSS データファイルの列と一致する必要があります。そうでない場合、データは読み取れません。
  table_comment	いいえ	テーブルのコメント。コメントは 1,024 バイト以下の有効な文字列でなければなりません。そうでない場合、エラーが報告されます。
  partitioned by (col_name data_type, ...)	いいえ	OSS 内のデータファイルがパーティションパスに保存されている場合、このパラメーターを含めてパーティションテーブルを作成します。 col_name：パーティションキー列の名前。 data_type：パーティションキー列のデータ型。
  '<(tb)property_name>'='<(tb)property_value>'	はい	外部テーブルの拡張プロパティ。詳細については、形式固有のドキュメントをご参照ください。
  oss_location	はい	データファイルが配置されている OSS パス。デフォルトでは、このパス内のすべてのデータファイルが読み取られます。 フォーマットは oss://<oss_endpoint>/<バケット名>/<OSS ディレクトリ名>/ です。 oss_endpoint： OSS ドメイン名。OSS が提供するクラシックネットワークエンドポイントを使用する必要があり、これには -internal が含まれます。 例：oss://oss-cn-beijing-internal.aliyuncs.com/xxx。 OSS クラシックネットワークドメイン名は、「リージョンとエンドポイント」に記載されています。 データファイルが保存されている OSS リージョンを、ご利用の MaxCompute プロジェクトのリージョンと同じにしてください。異なるリージョンにある場合、ネットワーク接続の問題が発生する可能性があります。 エンドポイントを指定しない場合、システムは現在のプロジェクトが配置されているリージョンのエンドポイントを使用します。 クロスリージョンのファイルストレージはネットワーク接続の問題を引き起こす可能性があるため、この方法は推奨されません。 バケット名：OSS バケットの名前です。oss_endpoint に従う必要があります。 例：oss://oss-cn-beijing-internal.aliyuncs.com/your_bucket/path/。 バケット名は「バケットのリスト」で確認できます。 ディレクトリ名：OSS ディレクトリの名前。ディレクトリの後にファイル名を指定しないでください。 例：oss://oss-cn-beijing-internal.aliyuncs.com/oss-mc-test/Demo1/。 不正な例： -- HTTP 接続はサポートされていません。 http://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/ -- HTTPS 接続はサポートされていません。 https://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/ -- 不正な接続アドレスです。 oss://oss-cn-shanghai-internal.aliyuncs.com/Demo1 -- ファイル名を指定しないでください。 oss://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/vehicle.csv

• WITH serdeproperties 属性

  property_name	シナリオ	property_value	デフォルト値
  odps.properties.rolearn	STS 認証を使用する場合にこのプロパティを追加します。	OSS へのアクセス権限を持つ RAM ロールの ARN を指定します。 RAM コンソールのロール詳細から ARN を取得します。例：acs:ram::xxxxxx:role/<role_name>。	MaxCompute と OSS の所有者が同じアカウントの場合： テーブル作成ステートメントで odps.properties.rolearn を指定しない場合、デフォルトで aliyunodpsdefaultrole ロールの ARN が使用されます。まず、STS 認証を使用して RAM ロールを作成する必要があります。AliyunODPSDefaultRole は広範な権限を持っています。カスタムロールを通じて権限を付与することを推奨します。 カスタムロールの ARN を使用するには、まずカスタムロールを作成します。OSS の STS 認証 (カスタム権限付与)。 MaxCompute と OSS の所有者が異なるアカウントの場合、カスタムロールの ARN を指定する必要があります。詳細については、「OSS の STS 認証 (カスタム権限付与)」をご参照ください。

ホワイトリストとブラックリスト

MaxCompute OSS 外部テーブルは、ホワイトリストとブラックリストによるフィルタリングをサポートしています。tblproperties にホワイトリストとブラックリストのパラメーターを設定することで、ディレクトリから読み取るファイルをフィルタリングできます。

• tblproperties パラメーター

  tblproperties パラメーターの詳細

  property_name	ユースケース	注	property_value	デフォルト
  odps.external.data.file.whitelist.regex	カスタムホワイトリストフィルタリング	正規表現パターン	ファイルマッチング用の正規表現パターン、例：'.*\\.json'	なし
  odps.external.data.file.blacklist.regex	カスタムブラックリストフィルタリング	正規表現パターン	ファイルマッチング用の正規表現パターン、例：'.*\\.txt'	なし
  odps.external.data.file.recursive.listing.enabled	再帰的なファイル検索の制御		True False	True
  odps.sql.unstructured.file.pattern.black.list (既存のセッションフラグ)	セッションレベルのブラックリストフィルタリング	正規表現パターン	ファイルマッチング用の正規表現パターン、例：'.*\\.json'	なし

• 有効なルール

  • ブラックリストはホワイトリストより優先されます：ファイルがブラックリストの条件に一致する場合、そのファイルは除外されます。

  • セッションフラグと tblproperties のブラックリストパラメーターは「OR」関係にあります。両方が設定されている場合、両方が有効になり、どちらかのブラックリスト条件に一致するファイルは除外されます。tblProperties の設定が推奨されます。

    設定方法	パスの種類	パラメーター
    セッションフラグ	絶対パス	odps.sql.unstructured.file.pattern.black.list
    tblproperties	相対パス	odps.external.data.file.blacklist.regex

• 正規表現の注意点

  • 行頭 ^ と行末 $ のアンカーはオプションです。例えば、.json ファイルに一致させるには、.*\.json で十分です。

  • 正規表現パターンは1つしかサポートされていません。複数のファイルタイプを除外するには、| を使用します：

    -- csv、txt、parquet ファイルを除外
    "odps.external.data.file.blacklist.regex": ".*\\.(txt|csv|parquet)$" 

• ホワイトリストとブラックリストのパラメーターの更新

  ALTER TABLE {table_name} 
  SET tblproperties('odps.external.data.file.whitelist.regex'='new_regex')
  
  ALTER TABLE {table_name} 
  SET tblproperties('odps.external.data.file.blacklist.regex'='new_regex')

• 例

  • サンプルデータ

    -- OSS ディレクトリに以下のファイルが含まれていると仮定します：
    
    oss://xxx/bucket/level1/data1.txt
    oss://xxx/bucket/level1/data2.json
    oss://xxx/bucket/level1/data3.csv
    oss://xxx/bucket/level1/level2/data4.txt
    oss://xxx/bucket/level1/level2/data5.json
    oss://xxx/bucket/level1/level2/data6.parquet

  • ホワイトリスト：JSON ファイルのみを読み取る

    CREATE EXTERNAL TABLE test_whitelist_table
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED AS textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- ファイル拡張子サポートを有効化
      'odps.external.data.file.whitelist.regex'='.*\\.json'); -- ホワイトリスト：JSON ファイルのみ
    
    -- SELECT * FROM test_whitelist_table を実行すると、すべての JSON ファイルが選択されます。
    -- クエリは data2.json と level2/data5.json からのデータを返します

  • ブラックリスト：txt、csv、parquet ファイルを除外する

    CREATE EXTERNAL TABLE test_blacklist_table
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- ファイル拡張子サポートを有効化
      'odps.external.data.file.blacklist.regex'='.*\\.(txt|csv|parquet)$'); -- ブラックリスト：txt、csv、parquet を除外
    
    -- SELECT * FROM test_blacklist_table を実行すると、すべての TXT、CSV、Parquet ファイルが除外されます。
    -- クエリは data2.json と level2/data5.json からのデータを返します

  • ホワイトリストとブラックリストの組み合わせ：txt ファイルを読み取り、level2 ディレクトリを除外する

    CREATE EXTERNAL TABLE test_whitelist_blacklist_table
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- ファイル拡張子サポートを有効化
      'odps.external.data.file.whitelist.regex'='.*\\.txt', -- ホワイトリスト：txt ファイルのみ
      'odps.external.data.file.blacklist.regex'='.*level2/.*'); -- ブラックリスト：level2 ディレクトリを除外
    
    -- select * from test_whitelist_blacklist_table を実行すると、
    -- ホワイトリストが txt ファイルをフィルタリングし、その後ブラックリストが level2 ディレクトリを除外します
    -- クエリは data1.txt のみからデータを返します

  • 再帰的な一覧表示: サブディレクトリ内のファイルを読み取るかどうかをコントロールします

    CREATE EXTERNAL TABLE test_recursive_enabled
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- ファイル拡張子のサポートを有効化
      'odps.external.data.file.whitelist.regex'='.*\\.json' -- ホワイトリスト: json ファイルのみ
      'odps.external.data.file.recursive.listing.enabled'='true'); -- 再帰を有効化
    
    
    -- SELECT * FROM test_recursive_enabled を実行すると、すべての JSON ファイルが選択されます。
    -- クエリは data2.json と level2/data5.json からデータを返します。
    
    
    CREATE EXTERNAL TABLE test_recursive_disabled
    (
        id INT,
        name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- ファイル拡張子のサポートを有効化
      'odps.external.data.file.whitelist.regex'='.*\\.json' -- ホワイトリスト: json ファイルのみ
      'odps.external.data.file.recursive.listing.enabled'='false'  -- 再帰を無効化
    );
    
    -- SELECT * FROM test_recursive_disabled を実行すると、すべての JSON ファイルが選択されますが、再帰的な読み取りは無効になっています。
    -- クエリは data2.json のデータのみを返します (level2 ディレクトリは除外されます)

  • ALTER TABLE を介したホワイトリストとブラックリストの更新

    CREATE EXTERNAL TABLE test_alter_table_properties
    (
      id INT,
      name STRING 
    )
    row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED as textfile
    LOCATION 'oss://xxx/bucket/level1'
    TBLPROPERTIES (
      'odps.external.data.enable.extension'='true', -- ファイル拡張子サポートを有効化
      'odps.external.data.file.whitelist.regex'='.*\\.json'); -- ホワイトリスト：json ファイルのみ
    
    -- SELECT * FROM test_alter_table_properties を実行すると、すべての JSON ファイルが選択されます
    -- クエリは data2.json と level2/data5.json からのデータを返します
    
    ALTER TABLE test_alter_table_properties 
    SET tblproperties(
      'odps.external.data.file.whitelist.regex'='.*level2/.*\\.json'
    )
    -- select * from test_alter_table_properties を実行すると
    -- クエリは level2/data5.json のみからデータを返すようになります

注意事項

• OSS 外部テーブルを作成した後、外部テーブルを通じて OSS からデータを読み取ることができます。サポートされているデータファイルの種類と作成構文については、「構文」をご参照ください。

• SQL ステートメントに複雑なデータ型が含まれる場合は、set odps.sql.type.system.odps2=true; を先頭に追加して一緒に送信してください。データ型バージョン。

• オープンソースデータにマッピングされた OSS 外部テーブルの場合、OSS からデータを読み取る前にセッションレベルで set odps.sql.hive.compatible=true; を設定してください。そうしないと、エラーが報告されます。

• OSS には帯域幅制限があります。短期間に読み取り/書き込みトラフィックがインスタンスの帯域幅制限を超えると、外部テーブルのパフォーマンスが低下します。制限とパフォーマンスメトリクス。

構文

<select_statement> FROM <from_statement>;

• select_statement：SELECT 句。ソーステーブルからターゲットテーブルに挿入するデータをクエリします。

• from_statement：FROM 句。外部テーブルの名前など、データソースを指定します。

クエリの最適化

SET odps.meta.exttable.stats.onlinecollect=true;
SELECT * FROM <tablename>;

-- 以下のいずれかのパラメーターを使用できます。

-- 単位：MiB。デフォルト値：256 MiB。内部テーブルまたは外部テーブルに適用されます。
SET odps.stage.mapper.split.size=<value>;
SELECT * FROM <tablename>;

-- 単位：MiB。デフォルト値：256 MiB。外部テーブルにのみ適用されます。
SET odps.sql.unstructured.data.split.size=<value>;
SELECT * FROM <tablename>;

-- 2層モデルの構文：set odps.sql.split.dop={"project.table": xxx};
-- 3層モデルの構文：set odps.sql.split.dop={"project.schema.table": xxx};

SET odps.sql.split.dop={
  "project.schema.table1": xxx, 
  "project.schema.table2": yyy
};

SET odps.sql.common.table.planner.ext.hive.bridge=FALSE;

SELECT * FROM <your_table>;

SET odps.sql.split.dop = {"lakehouse47_3.tpch_1t_parquet_snappy.lineitem": 2};
SET odps.input.file.num.limit = 5000;

構文

INSERT {INTO|OVERWRITE} TABLE <table_name> PARTITION (<ptcol_name>[, <ptcol_name> ...]) 
<select_statement> FROM <from_statement>;

動的パーティションにデータを挿入する方法については、「動的パーティションへのデータの挿入または上書き」をご参照ください。

OSS のマルチパートアップロード機能を使用した OSS へのデータ書き込み

オープンソースフォーマットで OSS にデータを書き込むには、オープンソースデータパーサを使用して外部テーブルを作成し、OSS のマルチパートアップロード機能を有効にします。

OSS のマルチパートアップロード機能を有効にするには、次のように設定します：

setproject odps.sql.unstructured.oss.commit.mode =true;

set odps.sql.unstructured.oss.commit.mode =true;

odps.sql.unstructured.oss.commit.mode のデフォルト値は false です。2 つのモードの動作は次のとおりです。

エクスポートされたファイルの管理

動的パーティションを使用した大きなファイルの書き込み

-- service.mode をオフにする必要があります。
SET odps.service.mode=off;

-- 動的パーティション機能を有効にする必要があります。
SET odps.sql.reshuffle.dynamicpt=true; 	

-- 各 reducer の目的のデータ消費量を設定します。各ファイルを 4 GB にすると仮定します。
SET odps.adaptive.shuffle.desired.partition.size=4096;	

• 外部テーブルを使用して OSS データを処理する際に発生する「Inline data exceeds the maximum allowed size」エラーの解決方法

• ローカルテストに合格した UDF をアップロードして MaxCompute の OSS 外部テーブルにアクセスした後にメモリオーバーフローエラーが発生する場合の解決方法

• OSS 外部テーブルを使用して複数の小容量ファイルを 1 つのファイルにマージする方法

• OSS 外部テーブルからの読み取り時に発生する「Couldn't connect to server」エラーの解決方法

• OSS 外部テーブルの作成時に発生する「Network is unreachable (connect failed)」エラーの解決方法

• OSS 外部テーブルでの SQL ジョブ実行が遅い場合の解決方法

• OSS のマルチパートアップロード機能を使用する際に、古いデータは削除されるが新しいデータが書き込まれない問題の解決方法

• Spark から OSS 外部テーブルにアクセスする際に発生する「table not found」エラーの解決策

外部テーブルを使用して OSS データを処理する際に発生する「Inline data exceeds the maximum allowed size」エラーの解決方法

• 問題

  OSS データを処理する際に、エラー Inline data exceeds the maximum allowed size が報告されます。

• 原因

  OSS Store には、各小容量ファイルのサイズに制限があります。ファイルが 3 GB を超えるとエラーが報告されます。

• 解決策

  以下の 2 つのプロパティを調整して、各レデューサーが外部テーブルに書き込むデータサイズを制御し、ファイルが 3 GB の制限内に収まるようにします。

  set odps.sql.mapper.split.size=256; # 各マッパーが読み取るデータサイズを調整します (単位: MB)。
  set odps.stage.reducer.num=100; # Reduce ステージのワーカー数を調整します。

ローカルテストに合格した UDF をアップロードして MaxCompute の OSS 外部テーブルにアクセスした後にメモリオーバーフローエラーが発生する場合の解決方法

• 問題

  MaxCompute の OSS 外部テーブルにアクセスする際、ローカルテストに合格した UDF (ユーザー定義関数) をアップロードした後に、以下のエラーが返されます。

  FAILED: ODPS-0123131:User defined function exception - Traceback:
  java.lang.OutOfMemoryError: Java heap space        

  以下のパラメーターを設定すると、実行時間は長くなりますが、エラーは解消されません。

  set odps.stage.mapper.mem = 2048; 
  set odps.stage.mapper.jvm.mem = 4096;       

• 原因

  外部テーブルにオブジェクトファイルが多すぎること、およびパーティションが設定されていないことが原因で、過剰なメモリ使用量が発生しています。

• 解決策

  • クエリにはより少量のデータを使用します。

  • オブジェクトファイルをパーティション分割して、メモリ使用量を削減します。

OSS 外部テーブルを使用して複数の小容量ファイルを 1 つのファイルにマージする方法

Logview ログを確認し、SQL 実行計画の最終ステージがレデューサーかジョイナーかを確認します。

• レデューサーの場合は、文 set odps.stage.reducer.num=1; を実行します。

• ジョイナーの場合は、文 set odps.stage.joiner.num=1; を実行します。

OSS 外部テーブルからの読み取り時に発生する「Couldn't connect to server」エラーの解決方法

• 問題

  OSS 外部テーブルからデータを読み取る際に、エラー ODPS-0123131:User defined function exception - common/io/oss/oss_client.cpp(95): OSSRequestException: req_id: , http status code: -998, error code: HttpIoError, message: Couldn't connect to server が報告されます。

• 原因

  • 原因 1：OSS 外部テーブルの作成時に、oss_location アドレスの oss_endpoint に内部エンドポイントではなく、パブリックエンドポイントが使用された。

  • 原因 2：OSS 外部テーブルの作成時に、oss_location アドレスの oss_endpoint に別のリージョンのエンドポイントが使用された。

• 解決策

  • 原因 1 の場合

    oss_location の oss_endpoint が内部エンドポイントであることを確認します。パブリックエンドポイントの場合は、内部エンドポイントに変更してください。詳細については、「パラメーター」をご参照ください。

    たとえば、インドネシア (ジャカルタ) リージョンのユーザーがアドレス oss://oss-ap-southeast-5.aliyuncs.com/<bucket>/.... を使用して外部テーブルを作成した場合、対応する内部アドレス oss://oss-ap-southeast-5-internal.aliyuncs.com/<bucket>/.... に変更する必要があります。

  • 原因 2 の場合

    oss_location の oss_endpoint がアクセスしたいリージョンと一致していることを確認します。OSS クラシックネットワークのドメイン名の一覧については、「リージョンとエンドポイント」をご参照ください。

OSS 外部テーブルの作成時に発生する「Network is unreachable (connect failed)」エラーの解決方法

• 問題

  OSS 外部テーブルを作成する際に、エラー ODPS-0130071:[1,1] Semantic analysis exception - external table checking failure, error message: Cannot connect to the endpoint 'oss-cn-beijing.aliyuncs.com': Connect to bucket.oss-cn-beijing.aliyuncs.com:80 [bucket.oss-cn-beijing.aliyuncs.com] failed: Network is unreachable (connect failed) が報告されます。

• 原因

  OSS 外部テーブルの作成時に、oss_location アドレスの oss_endpoint に内部エンドポイントではなく、パブリックエンドポイントが使用された。

• 解決策

  oss_location の oss_endpoint が内部エンドポイントであることを確認します。パブリックエンドポイントの場合は、内部エンドポイントに変更してください。詳細については、「パラメーター」をご参照ください。

  たとえば、中国 (北京) リージョンのユーザーがアドレス oss://oss-cn-beijing.aliyuncs.com/<bucket>/.... を使用して外部テーブルを作成した場合、対応する内部アドレス oss://oss-cn-beijing-internal.aliyuncs.com/<bucket>/.... に変更する必要があります。

OSS 外部テーブルでの SQL ジョブ実行が遅い場合の解決方法

• OSS 外部テーブル内の GZ 圧縮ファイルの読み取りが遅い

  • 症状

    ユーザーが OSS 内の 200 GB の GZ 圧縮ファイルをデータソースとして OSS 外部テーブルを作成しました。データの読み取りプロセスが遅いです。

  • 原因

    マップステージで計算を実行するマッパーが少なすぎるため、SQL の処理速度が遅くなっています。

  • 解決策

    • 構造化データの場合、以下のパラメーターを設定して、単一のマッパーが読み取るデータ量を調整し、SQL の実行を高速化できます。

      set odps.sql.mapper.split.size=256; # 各マッパーが読み取るテーブルデータサイズを調整します (単位: MB)。       

    • 非構造化データの場合、OSS 外部テーブルのパスに OSS ファイルが 1 つしかないかどうかを確認します。圧縮フォーマットの非構造化データは分割できないため、ファイルが 1 つしかない場合はマッパーも 1 つしか生成されません。これにより、処理速度が低下します。大規模な OSS ファイルを、OSS 上の対応する外部テーブルパス内でより小さなファイルに分割することを推奨します。これにより、外部テーブルの読み取り時に生成されるマッパーの数が増え、読み取り速度が向上します。

• SDK を使用した MaxCompute 外部テーブルデータの検索が遅い

  • 症状

    SDK を使用して MaxCompute 外部テーブルデータを検索すると遅くなります。

  • 解決策

    外部テーブルは全表スキャンのみをサポートしており、これは低速です。代わりに MaxCompute 内部テーブルを使用してください。

OSS のマルチパートアップロード機能を使用する際に、古いデータは削除されるが新しいデータが書き込まれない問題の解決方法

• 問題

  insert overwrite シナリオにおいて、極端なケースでジョブが失敗した場合、結果が期待通りにならないことがあります。古いデータは削除されますが、新しいデータは書き込まれません。

• 原因

  ハードウェアの障害やメタデータ更新の失敗といった、非常に低い確率で発生する事象により、新しく書き込まれるデータがターゲットテーブルに書き込まれないことがあります。OSS での削除操作はロールバックをサポートしていないため、削除された古いデータを回復することはできません。

• 解決策

  • 古いデータに基づいて OSS 外部テーブルを上書きする場合、たとえば insert overwrite table T select * from table T; のような操作を行う場合は、事前に OSS データをバックアップしてください。ジョブが失敗した場合、バックアップした古いデータに基づいて OSS 外部テーブルを上書きできます。

  • insert overwrite ジョブが再送信可能な場合は、ジョブが失敗した際に単純に再送信してください。

Spark から OSS 外部テーブルにアクセスする際に発生する「table not found」エラーの解決策

• 問題

  Spark を使用して OSS 外部テーブルにアクセスすると、タスクが「table not found」エラーで失敗します。

• 解決策

  • 以下のパラメーターを追加します：

    • 外部テーブル構成を有効にする：spark.sql.catalog.odps.enableExternalTable=true;

    • OSS が配置されているリージョンを構成する：spark.hadoop.odps.oss.region.default=cn-<region>

  • 上記のパラメーターを追加してもエラーが解消されない場合：

    at java.lang.Thread.run(Thread.java:745)
    Caused by: java.lang.Exception: com.aliyun.odps.cupid.CupidException: connectionId and rolearn are mutually exclusive
        at com.aliyun.odps.cupid.table.v1.commontable.impl.reader.CupidCommonTableReadSession.splitTable

    OSS 外部テーブルを再作成してから、再度アクセスしてください。