MaxCompute:OSS 外部テーブル

構文

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name> 
(
<col_name> <data_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)] 
stored BY '<StorageHandler>'  
WITH serdeproperties (
 ['<property_name>'='<property_value>',...]
) 
location '<oss_location>';

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
<col_name> <data_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)]
[row format serde '<serde_class>'
  [WITH serdeproperties (
    ['<property_name>'='<property_value>',...])
  ]
]
stored AS <file_format> 
location '<oss_location>' 
[USING '<resource_name>']
[tblproperties ('<tbproperty_name>'='<tbproperty_value>',...)];

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name> 
(
<col_name> <date_type>,
...
)
[comment <table_comment>]
[partitioned BY (<col_name> <data_type>, ...)] 
stored BY '<StorageHandler>' 
WITH serdeproperties (
 ['<property_name>'='<property_value>',...]
) 
location '<oss_location>' 
USING '<jar_name>';

パラメーター

以下は、各種形式の外部テーブルに共通するパラメーターです。固有のパラメーターについては、各外部テーブル形式のドキュメントをご参照ください。

• 基本構文パラメーター

  パラメーター	必須	説明
  mc_oss_extable_name	はい	作成する OSS 外部テーブルの名前。 テーブル名は大文字小文字を区別しません。外部テーブルをクエリする際には大文字小文字を区別する必要はなく、強制的に大文字小文字を変換することもできません。
  col_name	はい	OSS 外部テーブル内の列の名前。 OSS からのデータ読み取り時、作成した OSS 外部テーブルのスキーマは OSS データファイルのスキーマと一致している必要があります。そうでない場合、データを読み取ることができません。
  data_type	はい	OSS 外部テーブル内の列のデータの型。 OSS からのデータ読み取り時、OSS 外部テーブル内の各列のデータの型は、OSS データファイル内の対応する列のデータの型と一致している必要があります。そうでない場合、データを読み取ることができません。
  table_comment	いいえ	テーブルのコメント。コメントは最大 1,024 バイトの有効な文字列である必要があります。それ以外の場合、エラーが報告されます。
  partitioned by (col_name data_type, ...)	いいえ	OSS 内のデータファイルがパーティション化されたパスに格納されている場合、パーティションテーブルを作成するためにこのパラメーターを指定します。 col_name: パーティションキー列の名前。 data_type: パーティションキー列のデータの型。
  '<(tb)property_name>'='<(tb)property_value>'	はい	OSS 外部テーブルの拡張プロパティ。各形式固有のパラメーターの詳細については、該当するドキュメントをご参照ください。
  oss_location	はい	データファイルが格納されている OSS パス。デフォルトでは、このパス内のすべてのデータファイルが読み取られます。 形式は oss://<oss_endpoint>/<Bucket name>/<OSS directory name>/ です。 oss_endpoint: OSS ドメイン名。OSS が提供するクラシックネットワークエンドポイント（-internal を含む）を使用する必要があります。 例: oss://oss-cn-beijing-internal.aliyuncs.com/xxx。 OSS クラシックネットワークドメイン名の詳細については、「リージョンとエンドポイント」をご参照ください。 OSS に格納されているデータファイルのリージョンを、MaxCompute プロジェクトのリージョンと一致させる必要があります。リージョンが異なる場合、ネットワーク接続の問題が発生する可能性があります。 エンドポイントを指定しない場合、システムは現在のプロジェクトが存在するリージョンのエンドポイントを使用します。 この方法は推奨されません。クロスリージョンでのファイルストレージにより、ネットワーク接続の問題が発生する可能性があるためです。 Bucket name: OSS バケットの名前。oss_endpoint に従ってバケット名を指定する必要があります。 例: oss://oss-cn-beijing-internal.aliyuncs.com/your_bucket/path/。 バケット名の確認方法については、「バケットの一覧表示」をご参照ください。 Directory name: OSS ディレクトリの名前。ディレクトリ名の後にファイル名を指定しないでください。 例: oss://oss-cn-beijing-internal.aliyuncs.com/oss-mc-test/Demo1/。 誤った例: -- HTTP 接続はサポートされていません。 http://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/ -- HTTPS 接続はサポートされていません。 https://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/ -- 不正な接続アドレス。 oss://oss-cn-shanghai-internal.aliyuncs.com/Demo1 -- ファイル名を指定しないでください。 oss://oss-cn-shanghai-internal.aliyuncs.com/oss-mc-test/Demo1/vehicle.csv 権限指定 (RamRole): 明示的に指定 (推奨): カスタムロールを作成し、アクセスポリシーをアタッチし、そのカスタムロールの ARN を使用します。詳細については、「STS 権限付与」をご参照ください。 デフォルトを使用 (推奨されません): aliyunodpsdefaultrole ロールの ARN を使用します。

• WITH serdeproperties 属性

  property_name	シナリオ	property_value	デフォルト値
  odps.properties.rolearn	STS 権限付与を使用する場合にこのプロパティを追加します。	OSS へのアクセス権限を持つ RAM ロールの ARN を指定します。 ARN は、RAM コンソールのロール詳細ページから取得できます。例: acs:ram::xxxxxx:role/aliyunodpsdefaultrole。	MaxCompute と OSS の所有者が同一アカウントの場合: テーブル作成ステートメントで odps.properties.rolearn を指定しない場合、aliyunodpsdefaultrole ロールの ARN がデフォルトで使用されます。この場合、まず STS 権限付与 を使用して aliyunodpsdefaultrole ロールを作成する必要があります。 カスタムロールの ARN を使用する場合、まずカスタムロールを作成する必要があります。詳細については、「OSS に対する STS 権限付与 (カスタム権限付与)」をご参照ください。 MaxCompute と OSS の所有者が異なるアカウントの場合、カスタムロールの ARN を指定する必要があります。詳細については、「OSS に対する STS 権限付与 (カスタム権限付与)」をご参照ください。

注意事項

• OSS 外部テーブルを作成後、外部テーブルを介して OSS からデータを読み取ることができます。サポートされる OSS データファイル形式および OSS 外部テーブルの作成構文については、「構文」をご参照ください。

• SQL ステートメントに複雑なデータの型が含まれる場合、SQL ステートメントの前に set odps.sql.type.system.odps2=true; コマンドを追加し、両方をまとめて送信してください。データの型の詳細については、「データの型のバージョン」をご参照ください。

• オープンソースデータにマッピングされた OSS 外部テーブルの場合、OSS からのデータ読み取り前にセッションレベルで set odps.sql.hive.compatible=true; を設定してください。設定しないとエラーが報告されます。

• OSS は帯域幅リソースを限定的に提供しています。短時間にデータの読み取り・書き込みトラフィックがインスタンスの帯域幅制限を超えた場合、OSS 外部テーブルのデータ読み取り・書き込み速度が直接影響を受けます。OSS の帯域幅の詳細については、「使用制限およびパフォーマンスメトリクス」をご参照ください。

構文

<select_statement> FROM <from_statement>;

• select_statement: SELECT 句。ソーステーブルからターゲットテーブルに挿入するデータをクエリします。

• from_statement: FROM 句。外部テーブル名など、データソースを指定します。

クエリ最適化

SET odps.meta.exttable.stats.onlinecollect=true;
SELECT * FROM <tablename>;

-- 次のいずれかのパラメーターを使用できます。

-- 単位: MiB。デフォルト値: 256 MiB。内部テーブルおよび外部テーブルの両方に適用されます。
SET odps.stage.mapper.split.size=<value>;
SELECT * FROM <tablename>;

-- 単位: MiB。デフォルト値: 256 MiB。外部テーブルにのみ適用されます。
SET odps.sql.unstructured.data.split.size=<value>;
SELECT * FROM <tablename>;

-- 2 レイヤーモデルの構文: set odps.sql.split.dop={"project.table": xxx};
-- 3 レイヤーモデルの構文: set odps.sql.split.dop={"project.schema.table": xxx};

SET odps.sql.split.dop={
  "project.schema.table1": xxx, 
  "project.schema.table2": yyy
};

SET odps.sql.common.table.planner.ext.hive.bridge=FALSE;

SELECT * FROM <your_table>;

SET odps.sql.split.dop = {"lakehouse47_3.tpch_1t_parquet_snappy.lineitem": 2};
SET odps.input.file.num.limit = 5000;

構文

INSERT {INTO|OVERWRITE} TABLE <table_name> PARTITION (<ptcol_name>[, <ptcol_name> ...]) 
<select_statement> FROM <from_statement>;

動的パーティションへのデータ挿入については、「動的パーティションへのデータの挿入または上書き (DYNAMIC PARTITION)」をご参照ください。

OSS マルチパートアップロード機能を使用した OSS へのデータ書き込み

OSS にオープンソース形式のデータを書き込む必要がある場合、オープンソースデータパーサーを使用して作成した OSS 外部テーブルと OSS のマルチパートアップロード 機能を併用して、INSERT 操作を実行し、OSS にデータを書き込むことができます。

OSS マルチパートアップロード機能を有効にするには、以下の設定を行います:

setproject odps.sql.unstructured.oss.commit.mode =true;

set odps.sql.unstructured.oss.commit.mode =true;

odps.sql.unstructured.oss.commit.mode プロパティのデフォルト値は false です。各値の実装原理は以下のとおりです:

エクスポートされたファイルの管理

動的パーティションを使用した大規模ファイルの書き込み

-- service.mode を無効化します。
SET odps.service.mode=off;

-- 動的パーティション機能を有効化します。
SET odps.sql.reshuffle.dynamicpt=true; 	

-- 各リデューサーの望ましいデータ消費量を設定します。各ファイルを 4 GB にしたい場合:
SET odps.adaptive.shuffle.desired.partition.size=4096;	

• 外部テーブルを使用して OSS データを処理する際に、「Inline data exceeds the maximum allowed size」エラーが発生した場合の対処方法を教えてください。

• MaxCompute で OSS 外部テーブルにアクセスする UDF をアップロードしたところ、ローカルテストでは成功しましたが、実行時にメモリオーバーフローのエラーが発生しました。この問題の対処方法を教えてください。

• OSS 外部テーブルを使用して複数の小規模ファイルを 1 つのファイルにマージする方法を教えてください。

• OSS 外部テーブルからデータを読み取る際に「Couldn't connect to server」エラーが発生した場合の対処方法を教えてください。

• OSS 外部テーブルを作成する際に「Network is unreachable (connect failed)」エラーが発生した場合の対処方法を教えてください。

• OSS マルチパートアップロード機能を使用した場合、古いデータが削除されても新しいデータが書き込まれないという問題の対処方法を教えてください。

• Spark から OSS 外部テーブルにアクセスした際に「table not found」エラーが発生した場合の対処方法を教えてください。

外部テーブルを使用して OSS データを処理する際に、「Inline data exceeds the maximum allowed size」エラーが発生した場合の対処方法を教えてください。

• 問題

  OSS データを処理する際に、Inline data exceeds the maximum allowed size エラーが報告されます。

• 原因

  OSS Store では、各小規模ファイルにサイズ制限があります。ファイルサイズが 3 GB を超えるとエラーが報告されます。

• 解決策

  この問題を解決するには、以下の 2 つのプロパティを調整できます。原則として、プロパティ値を変更して実行計画を調整し、各リデューサーが OSS 外部テーブルに書き込むデータ量を制御します。これにより、OSS Store ファイルが 3 GB の制限を超えないようにします。

  set odps.sql.mapper.split.size=256; # 各マッパーが読み取るデータ量を MB 単位で調整します。
  set odps.stage.reducer.num=100; # リデュース段階におけるワーカー数を調整します。

MaxCompute で OSS 外部テーブルにアクセスする UDF をアップロードしたところ、ローカルテストでは成功しましたが、実行時にメモリオーバーフローのエラーが発生しました。この問題の対処方法を教えてください。

• 問題

  MaxCompute で OSS 外部テーブルにアクセスする UDF をアップロードしたところ、ローカルテストでは成功しましたが、実行時に以下のエラーが報告されました。

  FAILED: ODPS-0123131:User defined function exception - Traceback:
  java.lang.OutOfMemoryError: Java heap space        

  以下のパラメーターを設定したところ、実行時間は延長されましたが、エラーは継続しました。

  set odps.stage.mapper.mem = 2048; 
  set odps.stage.mapper.jvm.mem = 4096;       

• 原因

  外部テーブルにオブジェクトファイルが多すぎてメモリ使用量が過剰になり、パーティションが設定されていないことが原因です。

• 解決策

  • クエリに使用するデータ量を減らします。

  • オブジェクトファイルをパーティション化して、メモリ使用量を削減します。

OSS 外部テーブルを使用して複数の小規模ファイルを 1 つのファイルにマージする方法を教えてください。

Logview のログを確認し、SQL 実行計画の最終ステージがリデューサーまたはジョイナーであるかどうかを確認します。

• リデューサーである場合、set odps.stage.reducer.num=1; ステートメントを実行します。

• ジョイナーである場合、set odps.stage.joiner.num=1; ステートメントを実行します。

OSS 外部テーブルからデータを読み取る際に「Couldn't connect to server」エラーが発生した場合の対処方法を教えてください。

• 問題

  OSS 外部テーブルからデータを読み取る際に、以下のエラーが報告されます。ODPS-0123131:User defined function exception - common/io/oss/oss_client.cpp(95): OSSRequestException: req_id: , http status code: -998, error code: HttpIoError, message: Couldn't connect to server

• 原因

  • 原因 1: OSS 外部テーブルの作成時に、oss_location アドレス内の oss_endpoint にパブリックエンドポイントが使用され、内部エンドポイントが使用されていませんでした。

  • 原因 2: OSS 外部テーブルの作成時に、oss_location アドレス内の oss_endpoint に別のリージョンのエンドポイントが使用されていました。

• 解決策

  • 原因 1 の場合:

    OSS 外部テーブル作成ステートメントの oss_location パラメーター内の oss_endpoint が内部エンドポイントであるかどうかを確認してください。パブリックエンドポイントの場合は、内部エンドポイントに変更してください。パラメーターの詳細については、「パラメーター」をご参照ください。

    たとえば、インドネシア (ジャカルタ) リージョンのユーザーが oss://oss-ap-southeast-5.aliyuncs.com/<bucket>/.... のアドレスを使用して外部テーブルを作成した場合、対応する内部アドレス oss://oss-ap-southeast-5-internal.aliyuncs.com/<bucket>/.... に変更する必要があります。

  • 原因 2 の場合:

    OSS 外部テーブル作成ステートメントの oss_location パラメーター内の oss_endpoint が、アクセスしようとするリージョンのエンドポイントであるかどうかを確認してください。OSS クラシックネットワークドメイン名の詳細については、「リージョンとエンドポイント」をご参照ください。

OSS 外部テーブルを作成する際に「Network is unreachable (connect failed)」エラーが発生した場合の対処方法を教えてください。

• 問題

  OSS 外部テーブルを作成する際に、以下のエラーが報告されます。ODPS-0130071:[1,1] Semantic analysis exception - external table checking failure, error message: Cannot connect to the endpoint 'oss-cn-beijing.aliyuncs.com': Connect to bucket.oss-cn-beijing.aliyuncs.com:80 [bucket.oss-cn-beijing.aliyuncs.com] failed: Network is unreachable (connect failed)

• 原因

  OSS 外部テーブルの作成時に、oss_location アドレス内の oss_endpoint にパブリックエンドポイントが使用され、内部エンドポイントが使用されていませんでした。

• 解決策

  OSS 外部テーブル作成ステートメントの oss_location パラメーター内の oss_endpoint が内部エンドポイントであるかどうかを確認してください。パブリックエンドポイントの場合は、内部エンドポイントに変更してください。パラメーターの詳細については、「パラメーター」をご参照ください。

  たとえば、中国 (北京) リージョンのユーザーが oss://oss-cn-beijing.aliyuncs.com/<bucket>/.... のアドレスを使用して外部テーブルを作成した場合、対応する内部アドレス oss://oss-cn-beijing-internal.aliyuncs.com/<bucket>/.... に変更する必要があります。

OSS 外部テーブルで SQL ジョブの実行が遅い場合の対処方法を教えてください。

• OSS 外部テーブルの GZ 圧縮ファイルの読み取りが遅い

  • 症状

    ユーザーが、OSS 上の 200 GB の GZ 圧縮ファイルをデータソースとして OSS 外部テーブルを作成しました。データ読み取りプロセスが遅いです。

  • 原因

    マップ段階で実行されるマッパー数が少なすぎるため、SQL 処理速度が遅くなっています。

  • 解決策

    • 構造化データの場合、以下のパラメーターを設定して、単一のマッパーが読み取るデータ量を調整し、SQL 実行を高速化できます。

      set odps.sql.mapper.split.size=256; # 各マッパーが読み取るテーブルデータ量を MB 単位で調整します。       

    • 非構造化データの場合、OSS 外部テーブルのパスに OSS ファイルが 1 つしかないかどうかを確認します。1 つしかない場合、圧縮された非構造化データは分割できないため、1 つのマッパーしか生成されず、処理速度が遅くなります。この場合、対応する外部テーブルパス上の OSS で大規模ファイルを小規模ファイルに分割することを推奨します。これにより、外部テーブルを読み取るときに生成されるマッパー数が増加し、読み取り速度が向上します。

• SDK を使用した MaxCompute 外部テーブルデータの検索が遅い

  • 症状

    SDK を使用して MaxCompute 外部テーブルデータを検索すると、処理が遅いです。

  • 解決策

    外部テーブルは全表スキャンのみをサポートしており、処理が遅くなります。代わりに MaxCompute 内部テーブルの使用を推奨します。

OSS マルチパートアップロード機能を使用した場合、古いデータが削除されても新しいデータが書き込まれないという問題の対処方法を教えてください。

• 問題

  insert overwrite シナリオにおいて、極端なケースでジョブが失敗した場合、期待通りでない結果になることがあります。古いデータが削除されますが、新しいデータは書き込まれません。

• 原因

  ハードウェア障害またはメタデータ更新失敗の非常に低い確率により、新しく書き込まれるデータがターゲットテーブルに書き込まれませんでした。OSS の削除操作はロールバックをサポートしていないため、削除された古いデータは復元できません。

• 解決策

  • OSS 外部テーブルをその古いデータに基づいて上書きする場合 (例: insert overwrite table T select * from table T;)、事前に OSS データをバックアップしてください。ジョブが失敗した場合、バックアップした古いデータに基づいて OSS 外部テーブルを上書きできます。

  • insert overwrite ジョブを再送信できる場合、失敗した場合に単にジョブを再送信してください。

Spark から OSS 外部テーブルにアクセスした際に「table not found」エラーが発生した場合の解決策

• 問題

  Spark を使用して OSS 外部テーブルにアクセスした際に、タスクが「table not found」エラーで失敗しました。

• 解決策

  • 以下のパラメーターを追加してください:

    • 外部テーブル構成を有効化:spark.sql.catalog.odps.enableExternalTable=true;

    • OSS のリージョンを構成:spark.hadoop.odps.oss.region.default=cn-<region>

  • 上記のパラメーターを追加した後もエラーが継続する場合:

    

    OSS 外部テーブルを再作成し、再度アクセスしてください。