MaxCompute:GET_SIGNED_URL_FROM_OSS

ステップ 1: ダウンロード URL の生成

1. OSS コンソールにログインし、テストファイル signedget.txt を object-table-test/object_table_folder ディレクトリにアップロードします。詳細については、「ファイルのアップロード」をご参照ください。

2. ローカルクライアント (odpscmd) を使用するか、DataWorks で MaxCompute SQL ノードを作成して、オブジェクトテーブルを作成し、メタデータキャッシュを更新します。

   -- MaxCompute プロジェクトでスキーマをサポートするために 3 層モデルを有効にします。
   SET odps.namespace.schema=true;
   -- MaxCompute プロジェクトを選択します。
   USE <project_name>;
   -- スキーマを選択します。
   USE SCHEMA <schema_name>;
   -- MaxCompute プロジェクトで 2.0 データ型システムを有効にします。
   SET odps.sql.type.system.odps2=true;
   -- この関数は MaxQA クエリアクセラレーションではサポートされていません。
   SET odps.mcqa.disable=true;
   -- オブジェクトテーブルを作成します。
   CREATE OBJECT TABLE IF NOT EXISTS test_get_signed_url_from_oss 
   WITH serdeproperties (
     'odps.properties.rolearn'='acs:ram::<uid>:role/<role_name>'
   ) 
   LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/object-table-test/object_table_folder/';
   -- テーブルキャッシュを更新します。
   ALTER TABLE test_get_signed_url_from_oss REFRESH METADATA;

3. オブジェクトテーブル内のメタデータをクエリします。

   SET odps.namespace.schema=true;
   SELECT * FROM test_get_signed_url_from_oss;

   想定される出力：

   +---------------+------------+------------+---------------------+---------------+----------------------------------+--------------+------------+--------------------+
   | key           | size       | type       | last_modified       | storage_class | etag                             | restore_info | owner_id   | owner_display_name |
   +---------------+------------+------------+---------------------+---------------+----------------------------------+--------------+------------+--------------------+
   | signedget.txt | 38         | 標準       | 2025-06-04 01:36:52 | Standard      | 96D8258845DAB51BC9B****6E61A2563 | NONE         | 13****     | 13****             |
   +---------------+------------+------------+---------------------+---------------+----------------------------------+--------------+------------+--------------------+

4. GET_DATA_FROM_OSS 関数を使用してオブジェクトデータを読み取ります。

   SET odps.namespace.schema=true;
   SELECT 
     STRING(   
       GET_DATA_FROM_OSS(
         '<project_name>.<schema_name>.test_get_signed_url_from_oss',
         key
       )
     )
   FROM test_get_signed_url_from_oss;

   想定される出力：

   +----------------------------------------+
   | _c0                                    |
   +----------------------------------------+
   | test maxcompute download files by url  |
   +----------------------------------------+

5. オブジェクトテーブルをクエリし、署名付き URL を生成します。

   SET odps.namespace.schema=true;
   SELECT GET_SIGNED_URL_FROM_OSS(  
     '<project_name>.<schema_name>.test_get_signed_url_from_oss',    
     key) 
   FROM test_get_signed_url_from_oss;

   想定される出力：

   +------------+
   | _c0        |
   +------------+
   | http://object-table-test.oss-cn-hangzhou-internal.aliyuncs.com/object_table_folder%2Fsignedget.txt?Expires=17490****&OSSAccessKeyId=STS.****&Signature=****&security-token=**** |
   +------------+

ステップ 2: ECS からのオブジェクトのダウンロード

1. ECS コンソールにログインします。左側メニューで、インスタンス & イメージ > Instances を選択します。

2. 中国 (杭州) リージョンで、対象のインスタンスを選択し、[Remote Connection] をクリックし、Workbench を使用してインスタンスに接続します。

3. ターミナルで、次のコマンドを実行して OSS オブジェクトをダウンロードします：

   -- ディレクトリを /opt に変更します。
   cd /opt
   -- 署名付き URL を使用して OSS オブジェクトをダウンロードします。
   curl -o /opt/ecs_signed.txt "http://object-table-test.oss-cn-hangzhou-internal.aliyuncs.com/object_table_folder%2Fsignedget.txt?Expires=17490****&OSSAccessKeyId=STS.****&Signature=****&security-token=****"

   出力：

   [xxx] opt]# curl -o /opt/ecs_signed.txt "http://object-table-test.oss-cn-hangzhou-inxxx&SAccessKeyId=STS.xxx&Signature=xxx&security-token=CAIS3gJxxx
   xxx
     % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                    Dload  Upload   Total   Spent    Left  Speed
   100    38  100    38    0     0    263      0 --:--:-- --:--:-- --:--:--   265
   opt]# ls
   aliyun-security  ecs_signed.txt
   [root@iZbp1al9u5z0axrqx50mptZ opt]# cat ecs_signed.txt
   test maxcompute download files by url
   xxx opt]#

問題 1：関数で指定したテーブルパスが、クエリ対象のテーブルパスと異なる

• エラーメッセージ

  ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: Can't do ObjectTableTwoPhasesSplitting process (Caused by: java.lang.IllegalArgumentException: The first arg[xxx.default.test_get_signed_url_from_ossxxxxxx] of function GET_SIGNED_URL_FROM_OSS({object_table_full_name}, {object_key}, ...) can't be found in the underlying object table scans[xxx.default.test_get_signed_url_from_oss])

• 問題の説明

  テーブル名 test_get_signed_url_from_ossxxxxxx が存在しないか、SQL ステートメントで指定されたテーブル名と異なります。

• 解決策

  既存のオブジェクトテーブルの名前を project.schema.table の形式で指定してください。

timeToLiveSeconds パラメータの値が無効

• エラーメッセージ

  ODPS-0121095:[1,8] Invalid argument - The parameter <timeToLiveSeconds> of the function GET_SIGNED_URL_FROM_OSS() you specified (0) is invalid, it should be in the range [1, 604800]

• 問題の説明

  timeToLiveSeconds パラメータの値が無効です。値は [1, 604800] の範囲内である必要があります。

• 解決策

  有効な有効期間 (TTL) の値を指定してください。

HttpMethod パラメータの値が無効

• エラーメッセージ

  ODPS-0121095:[1,8] Invalid argument - The parameter <httpMethod> of the function GET_SIGNED_URL_FROM_OSS() you specified 'PU' is invalid, it can only be 'GET' or 'PUT'

• 問題の説明

  HttpMethod パラメータの値が無効です。

• 解決策

  HttpMethod パラメータを GET または PUT に設定してください。

有効期間が短すぎてリンクが期限切れになる

• エラーメッセージ

  curl コマンドを実行すると Request has expired エラーが表示されます。

• 問題の説明

  署名付き URL が使用される前に有効期限が切れました。

• 解決策

  expiration パラメータに適切な値を設定してください。過度に長い値や短い値を設定しないでください。

3 層モデル構文が有効になっていない

• エラーメッセージ

  ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: Can't do ObjectTableTwoPhasesSplitting process (Caused by: java.lang.IllegalArgumentException: Invalid parameter of object table full name[str=xxx.test_get_signed_url_from_oss], which should be split up into 3 parts by '.' like '${project}.${schema}.${table}')

• 問題の説明

  スキーマ構文が有効になっていません。そのため、project.schema.table の形式を解析できません。

• 解決策

  SQL ステートメントの前に set odps.namespace.schema=true; コマンドを追加して、スキーマ構文を有効にしてください。