MaxCompute:使用上の注意

• UPLOAD: ローカルデータをMaxComputeテーブルにアップロードします。 ファイルは、毎回1つのテーブルまたはテーブル内の1つのパーティションにのみアップロードできます。 パーティションテーブルの場合、データのアップロード先のパーティションを指定する必要があります。 マルチレベルパーティションテーブルの場合は、最低レベルのパーティションを指定する必要があります。 詳細については、「アップロード」をご参照ください。

• DOWNLOAD: MaxComputeテーブルデータまたは特定のインスタンスのクエリ結果をローカルディレクトリにダウンロードします。 毎回1つのテーブルまたはパーティションから1つのローカルファイルにデータをダウンロードできます。 パーティションテーブルの場合、データをダウンロードするパーティションを指定する必要があります。 マルチレベルパーティションテーブルの場合、最低レベルのパーティションを指定する必要があります。 詳細については、「ダウンロード」をご参照ください。

• RESUME: ネットワークの切断またはトンネルサービスの障害によりエラーが発生した場合、ファイルのアップロードを再開します。 このコマンドを使用してデータのダウンロードを再開することはできません。 詳細については、「再開」をご参照ください。

• SHOW: 履歴タスク情報を表示します。 詳細については、「表示」をご参照ください。

• PURGE: セッションディレクトリをクリアします。 過去3日間のログはデフォルトで削除されます。 詳細については、「パージ」をご参照ください。

• HELP: ヘルプ情報を照会します。 コマンドエイリアスがサポートされています。

• UPSERT: UPDATEおよびINSERTセマンティクスを使用してデータを書き込みます。 このコマンドは、トランザクションテーブル2.0テーブルにのみデータを書き込むために使用できます。

  一致するデータが宛先テーブルに見つからない場合、新しいデータがテーブルに挿入されます。 書き込まれるデータが既に存在する場合、テーブル内のデータが更新される。

テーブルデータをアップロードする前に、アップロードするテーブルデータを含むデータファイルdata.txtを取得する必要があります。 保存パスはd:\data.txtです。 次の例は、ファイル内のデータを示しています。

shopx,x_id,100
shopy,y_id,200
shopz,z_id

テーブルデータをアップロードおよびダウンロードするには、次の手順を実行します。

1. MaxComputeクライアントで、次のステートメントを実行して、sale_detailという名前のパーティションテーブルを作成し、テーブルにパーティションを追加します。

   CREATE TABLE IF NOT EXISTS sale_detail(
         shop_name     STRING,
         customer_id   STRING,
         total_price   DOUBLE)
   PARTITIONED BY (sale_date STRING,region STRING);
   
   alter table sale_detail add partition (sale_date='201312', region='hangzhou');

2. UPLOADコマンドを実行して、data.txtファイルをsale_detailテーブルにアップロードします。

   • サンプル文

     tunnel upload d:\data.txt sale_detail/sale_date=201312,region=hangzhou -s false;

   • 返される結果

     Upload session: 20230505xxxxxxxxxxxb0b02dbb6bd
     Start upload:d:\data.txt
     Using \r\n to split records
     Upload in strict schema mode: true
     Total bytes:42   Split input to 1 blocks
     2023-05-05 10:11:35     upload block: '1'
     ERROR: column mismatch -,expected 3 columns, 2 columns found, please check data or delimiter

     説明

     data.txtファイルにダーティデータが含まれているため、データのインポートに失敗します。 システムはセッションIDとエラーメッセージを返します。

3. 次の文を実行して、データのアップロードを確認します。

   • サンプル文

     select * from sale_detail where sale_date='201312';

   • 返される結果

     ID = 20230505xxxxxxxxxxxvc61z5
     +-----------+-------------+-------------+-----------+--------+
     | shop_name | customer_id | total_price | sale_date | region |
     +-----------+-------------+-------------+-----------+--------+
     +-----------+-------------+-------------+-----------+--------+

     説明

     data.txtファイルにダーティデータが含まれているため、データのインポートに失敗します。 その結果、テーブルは空になります。

4. SHOWコマンドを実行して、データのアップロードが失敗したセッションのIDを照会します。

   • サンプル文

     tunnel show history;

   • 返される結果

     20230505xxxxxxxxxxxb0b02dbb6bd  failed  'upload d:\data.txt sale_detail/sale_date=201312,region=hangzhou -s false'

5. data.txtファイルの内容を次の情報に変更します。

   shopx,x_id,100
   shopy,y_id,200

6. RESUMEコマンドを実行して、データのアップロードを再開します。 20230505xxxxxxxxxxxb0b02dbb 6bdは、データアップロードが失敗したセッションのIDです。

   • サンプル文

     tunnel resume 20230505xxxxxxxxxxxb0b02dbb6bd --force;

   • 返される結果

     start resume
     20230505xxxxxxxxxxxb0b02dbb6bd
     Upload session: 20230505xxxxxxxxxxxb0b02dbb6bd
     Start upload:d:\data.txt
     Using \r\n to split records
     Upload in strict schema mode: true
     Resume 1 blocks 
     2023-05-05 10:32:39     upload block: '1'
     2023-05-05 10:32:40     upload block complete, block id: 1
     upload complete, average speed is 0 bytes/s
     OK

7. 次の文を実行して、データのアップロードを確認します。

   • サンプル文

     select * from sale_detail where sale_date='201312';

   • 返される結果

     ID = 20230505xxxxxxxxxxxx7afc9qcg
      +-----------+-------------+-------------+-----------+--------+
      | shop_name | customer_id | total_price | sale_date | region |
      +-----------+-------------+-------------+-----------+--------+
      | shopx     | x_id        | 100.0       | 201312    | hangzhou|
      | shopy     | y_id        | 200.0       | 201312    | hangzhou|
      +-----------+-------------+-------------+-----------+--------+

8. DOWNLOADコマンドを実行して、sale_detailテーブルからresult.txtファイルにデータをダウンロードします。

   説明

   データのダウンロード先のローカルパスには、次のルールに基づいて名前が付けられます。

   • MaxComputeクライアントのbinディレクトリにファイルを直接保存できます。 この場合、pathパラメーターをFile name.File name extension形式の値に設定する必要があります。

   • ファイルを別のディレクトリに保存することもできます。 たとえば、ファイルをドライブDのテストフォルダに保存できます。この場合、pathパラメーターをD:\test\File name.File name extension形式の値に設定する必要があります。

   • ローカルパス内のファイルの名前が保存するファイルと同じ場合、既存のファイルは新しいファイルによって上書きされます。

   tunnel download sale_detail/sale_date=201312,region=hangzhou result.txt;

9. result.txtファイルに次の内容が含まれているかどうかを確認します。 ファイルに次のコンテンツが含まれている場合、データのダウンロードは成功します。

   説明

   ダウンロードされたファイルには、非パーティションキー列の値のみが含まれます。

   shopx,x_id,100.0
   shopy,y_id,200.0