MaxCompute では、Tunnel コマンドを実行してデータのアップロードとダウンロードを行うことができます。このトピックでは、Tunnel コマンドを使用してデータをアップロードおよびダウンロードする方法について説明します。
Tunnel 操作の詳細については、「Tunnel コマンド」をご参照ください。次の表に、一般的な操作を示します。
操作 | 説明 | ロール | 操作プラットフォーム |
ローカルデータを追記モードで MaxCompute テーブルにアップロードします。 | テーブルに対する変更権限を持つユーザー | ||
MaxCompute テーブルデータ、または指定されたインスタンスの実行結果を、オンプレミス マシンのディレクトリにダウンロードします。 | テーブルデータを読み取るための選択権限を持つユーザー |
データのアップロード
ローカルデータを追記モードで MaxCompute テーブルにアップロードします。MaxCompute にデータをアップロードしても課金されません。
制限事項
ファイルまたはレベル 1 ディレクトリは、一度に 1 つのテーブルまたはテーブル内の 1 つの パーティション にのみアップロードできます。
パーティションテーブルの場合は、データをアップロードするパーティションを指定する必要があります。テーブルに複数レベルのパーティションがある場合は、最下位レベルのパーティションを指定する必要があります。
構文
Tunnel upload <path> [<project_name>.]<table_name>[/<pt_spc>];パラメーター
パス: 必須。オンプレミス マシンからアップロードするデータファイルのディレクトリと名前。データファイルのデフォルトの形式は TXT です。
データファイルは、MaxCompute クライアントの
binディレクトリに保存できます。この場合、パス パラメーターをファイル名.ファイル名拡張子形式の値に設定する必要があります。データファイルを D ドライブの test フォルダーなどの別のディレクトリに保存することもできます。この場合、パス パラメーターをD:\test\ファイル名.ファイル名拡張子形式の値に設定する必要があります。説明macOS では、パス パラメーターの値は絶対パスのみ可能です。たとえば、データファイルが MaxCompute クライアントの
binディレクトリに保存されている場合、パス パラメーターを/Users/ユーザー名/MaxCompute/bin/ファイル名.ファイル名拡張子形式の値に設定する必要があります。project_name: オプション。宛先テーブルが属するプロジェクトの名前。このパラメーターは、プロジェクト間でテーブルにアクセスする場合に必要です。
table_name: 必須。宛先テーブルの名前。
pt_spc: オプション。パーティションテーブルで指定されているパーティション。最下位レベルのパーティションを指定する必要があります。このパラメーターの値は、
partition_col1=col1_value1, partition_col2=col2_value1...形式です。
例
例 1: log.txt ファイルのデータを現在のプロジェクトの test_table テーブルにアップロードします。 log.txt ファイルは、MaxCompute クライアントの
binフォルダーに保存されています。サンプルコマンド:Tunnel upload log.txt test_table;例 2: log.txt ファイルのデータを test_project プロジェクトの test_table テーブルの
p1="b1",p2="b2"パーティションにアップロードします。テーブルには 2 つのレベルのパーティションがあります。 log.txt ファイルは、D ドライブの test フォルダーに保存されています。サンプルコマンド:Tunnel upload D:\test\log.txt test_project.test_table/p1="b1",p2="b2";
データのダウンロード
MaxCompute テーブルデータ、または指定されたインスタンスの実行結果を、オンプレミス マシンのディレクトリにダウンロードします。MaxCompute データはインターネットからのみダウンロードできます。ダウンロードされるデータのサイズに基づいて課金されます。料金は、次の式を使用して計算されます。ダウンロードごとの料金 = ダウンロードされたデータ量 (GB) × ダウンロードの単価 (0.1166 米ドル/GB)。
制限事項
一度に 1 つのテーブルまたは 1 つのパーティションから 1 つのローカルファイルにのみデータをダウンロードできます。
パーティションテーブルの場合は、データをダウンロードするパーティションを指定する必要があります。テーブルに複数レベルのパーティションがある場合は、最下位レベルのパーティションを指定する必要があります。
構文
Tunnel download [<project_name>.]<table_name>[/<pt_spc>] <path>;パラメーター
project_name: オプション。宛先テーブルが属するプロジェクトの名前。このパラメーターは、プロジェクト間でテーブルにアクセスする場合に必要です。
table_name: 必須。宛先テーブルの名前。
pt_spc: オプション。パーティションテーブルで指定されているパーティション。最下位レベルのパーティションを指定する必要があります。このパラメーターの値は、
partition_col1=col1_value1, partition_col2=col2_value1...形式です。パス: 必須。ダウンロードされたデータファイルのディレクトリと名前。ダウンロードされたデータファイルのデフォルトの形式は TXT です。
データファイルは、MaxCompute クライアントの
binディレクトリに保存できます。この場合、パス をファイル名.ファイル名拡張子形式の値に設定する必要があります。データファイルを D ドライブの test フォルダーなどの別のディレクトリに保存することもできます。この場合、パス をD:\test\ファイル名.ファイル名拡張子形式の値に設定する必要があります。
例
例 1: レベル 2 のパーティションテーブル test_project.test_table から test_table.txt ファイルにデータをダウンロードします。 test_table.txt ファイルは、MaxCompute クライアントの
binフォルダーに保存されています。サンプルコマンド:Tunnel download test_project.test_table/p1="b1",p2="b2" test_table.txt;例 2: レベル 2 のパーティションテーブル test_project.test_table から test_table.txt ファイルにデータをダウンロードします。 test_table.txt ファイルは、D ドライブの test フォルダーに保存されています。サンプルコマンド:
Tunnel download test_project.test_table/p1="b1",p2="b2" D:\test\test_table.txt;