MaxCompute:データ転送サービスの概要

操作タイプ

• コマンドを実行してデータを転送する

  現在、MaxCompute クライアントでのみデータ転送のためのコマンドを実行できます。

• データのバッチ操作

  標準トンネルを使用して、オフラインデータのバッチ操作（テーブルへのデータのアップロード、テーブルからのデータのダウンロード、インスタンスデータのクエリ結果のダウンロードなど）を実行できます。

• ストリーミングモードでのデータ書き込み

  ストリームトンネルを使用して、ストリーミングモードでデータをマイクロバッチでテーブルに書き込むことができます。

データ転送サービスの制限

• 標準トンネルの制限

  • データのアップロード

    項目	制限
    UploadSession のライフサイクル	24 時間
    UploadSession によって書き込まれるブロック数	20,000
    ブロックの書き込み速度	10 MB/s
    ブロック内のデータ量	100 GB
    テーブルに対して作成された UploadSession の数	5 分あたり 500 UploadSessions
    テーブルに書き込まれるブロック数	5 分あたり 500 ブロック
    テーブルに対して送信される同時実行 UploadSession の数	32
    単一テーブル書き込みコミットの数	15 秒ごとに 75 回。
    同時に書き込まれるブロック数	同時スロット数によって異なります。ブロックが書き込まれると、スロットが占有されます。
    同時書き込み	MaxCompute は、原子性、一貫性、分離性、耐久性（ACID）の原則に基づいて同時書き込みが実行されることを保証します。ACID セマンティクスの詳細については、「ACID セマンティクス」をご参照ください。

  • データのダウンロード

    項目	制限
    DownloadSession のライフサイクル	24 時間
    InstanceDownloadSession のライフサイクル	24 時間、インスタンスのライフサイクルによって異なります。
    プロジェクトに対して作成された InstanceDownloadSession の数	5 分あたり 200 InstanceDownloadSessions
    テーブルに対して作成された DownloadSession の数	5 分あたり 200 DownloadSessions
    単一のダウンロードリクエストの速度	10 MB/s
    同時に作成できる DownloadSession の数	同時スロット数によって異なります。DownloadSession が作成されると、スロットが占有されます。
    同時に作成できる InstanceDownloadSession の数	同時スロット数によって異なります。InstanceDownloadSession が作成されると、スロットが占有されます。
    同時ダウンロードリクエストの数	同時スロット数によって異なります。データダウンロードリクエストによってスロットが占有されます。

  説明

  Delta Table Upsert 機能は、バッチデータのアップロードとダウンロードでサポートされています。この機能には次の制限があります。

  • UpsertSession のライフサイクル: 24 時間

  • UpsertSession の最大データ書き込み速度: テーブル数またはパーティションのバケット数 × 10 MB/s

  • 占有できる最大スロット数: テーブル数またはパーティションのバケット数

  • UpsertSession のコミット頻度: Delta Table の各パーティションでは、1 分あたり 1 つのコミットのみが許可されます。2 つのコミット間の期間が 1 分未満の場合、システムは ErrorCode=FlowExceeded, ErrorMessage=CommitUpsert QPS Quota exceeded というメッセージでエラーを報告します。

• ストリームトンネルの制限

  項目	制限
  スロットへのデータ書き込み速度	10 MB/s
  テーブルに同時に書き込まれるパーティション数	64
  パーティションで使用可能な最大スロット数	32
  同時フラッシュ数	スロットの同時実行制限のため、各フラッシュ操作は 1 つのスロットを占有します。

• データアップロードの制限

  • 各フィールドのサイズは、フィールドの制限を超えることはできません。詳細については、「データ型エディション」をご参照ください。

    説明

    STRING 型のフィールドのサイズは、8 MB を超えることはできません。

  • アップロード中に、複数のデータエントリがパッケージファイルにパッケージ化されます。

• データ転送サービスの専用リソースグループのネットワーク制限

  • 仮想プライベートクラウド（VPC）経由のアクセスのみがサポートされています。インターネット経由のアクセスはサポートされていません。

  • データ転送は同じリージョン内でサポートされています。リージョン間のデータ転送はサポートされていません。

データ転送サービスの共有リソースグループ

データ転送サービスの有効な状態コード

• 失敗したリクエストのリトライポリシー

  • リクエストが失敗した場合、クライアントは一定時間待機してからリクエストを再開する必要があります。

  • 連続して失敗したリクエストの待機時間は指数関数的に増加する必要があります。最短の待機時間は 1 秒です。例: 1 秒、2 秒、4 秒、8 秒、16 秒、32 秒、32 秒。

• 繰り返しリクエスト

  • 同じ URL を持つリクエスト。

  • 同じ IP アドレスのクライアントによって連続して開始されるリクエスト。

• 有効なリクエスト

  状態コードが有効で、リトライポリシーの要件を満たしているリクエスト。

• 無効なリクエスト

  状態コードは有効ですが、リトライポリシーの要件を満たしていないリクエスト。

  説明

  無効なリクエストは、サービスレベル契約（SLA）では保証されません。

• 攻撃リクエスト

  • 状態コードが 429 と 503 で、リトライポリシーに準拠していないリクエスト。状態コード 429 と 503 は、プロセス制御のために返されます。

  • 攻撃リクエストの場合、MaxCompute は攻撃を開始したクライアントの IP アドレス、UID、およびプロジェクトを分離します。分離されたオブジェクトは、想定どおりに MaxCompute にアクセスできません。

  説明

  攻撃リクエストは、SLA では保証されません。

FAQ