Tunnel を使用したローカルログデータのアップロード - MaxCompute

Tunnel は、大量のデータを MaxCompute テーブルに一括でロードするためのコマンドラインツールです。これは、オフラインコンピューティングのシナリオ向けに設計されています。このチュートリアルでは、odpscmd クライアントを使用して、送信先テーブルを作成し、ローカルの CSV ログファイルをアップロードする手順を説明します。

前提条件

開始する前に、以下のことを確認してください。

odpscmd クライアントがインストールおよび設定済みであること。詳細については、「MaxCompute クライアントのインストールと設定」をご参照ください。
アップロードする準備ができているローカルのログファイルがあること。このチュートリアルでは、例のデータファイルとして loghub.csv を使用します。

ステップ 1: 送信先テーブルの作成

odpscmd クライアントで、次のコマンドを実行して loghub という名前のテーブルを作成します。

最初のコマンドは MaxCompute V2.0 データの型を有効にします。このコマンドは、同じセッションで CREATE TABLE 文と一緒に送信してください。

set odps.sql.type.system.odps2=true;
-- Create a table named loghub.
CREATE TABLE loghub
(
  client_ip    STRING,
  receive_time STRING,
  topic        STRING,
  id           STRING,
  name         VARCHAR(32),
  salenum      STRING
);

ステップ 2: ログデータのアップロード

次のコマンドを実行して、ログファイルを loghub テーブルにアップロードします。ご利用のオペレーティングシステムに合わせてファイルパスを調整してください。

Windows

Tunnel u D:\loghub.csv loghub;

Linux または macOS

Tunnel u /path/to/loghub.csv loghub;

パラメータ	説明
`D:\loghub.csv` または `/path/to/loghub.csv`	ローカルログデータファイルへのパス
`loghub`	送信先 MaxCompute テーブルの名前

Tunnel ベースのアップロードでは、ワイルドカードと正規表現はサポートされていません。正確なファイルパスを指定してください。

ステップ 3: アップロードの検証

次のクエリを実行して、データがテーブルにロードされたかどうかを確認します。

SELECT * FROM loghub;

アップロードが成功した場合、クエリは以下に示すようにアップロードされた行を返します。

クエリが行を返さない場合、またはエラーが発生した場合は、以下を確認してください。

ステップ 2 のファイルパスが、ご利用の CSV ファイルの実際の場所と一致していること。
テーブルスキーマが、ご利用の CSV ファイルの列と一致していること。
odpscmd クライアントが、正しい MaxCompute プロジェクトに接続されていること。

次のステップ

Tunnel コマンドの完全なリファレンス (機能、および Tunnel コマンドを使用したデータのアップロードまたはダウンロード方法を含む) については、「Tunnel の使用上の注意」をご参照ください。