MaxCompute:データ転送サービスの概要

使用分類

• コマンド

  MaxCompute クライアント (odpscmd) でのみコマンドを実行できます。

• バッチ操作

  Tunnel を使用すると、オフラインのバッチ操作を実行してデータをアップロードおよびダウンロードできます。これらの操作には、単一テーブルのデータのアップロードとダウンロード、およびクエリインスタンスからのデータのダウンロードが含まれます。

• ストリーミング操作

  Stream Tunnel を使用すると、ストリーミングデータをマイクロバッチでテーブルに書き込むことができます。

データ転送サービスの制限

• バッチデータチャネルの制限

  • バッチデータのアップロード

    制限	制限事項
    UploadSession のライフサイクル	24 時間
    UploadSession ごとに書き込まれるブロック数	20,000
    ブロックあたりの書き込み速度	10 MB/s
    ブロックあたりのデータ量	100 GB
    テーブルごとに作成される UploadSession の数	5 分ごとに 500
    テーブルごとに書き込まれるブロック数	5 分ごとに 500
    テーブルごとの同時 UploadSession コミット数	32
    テーブルごとのコミット数	15 秒ごとに 75
    同時ブロック書き込み数	同時実行スロット数によって制限されます。1 回のブロック書き込みで 1 つのスロットを占有します。
    同時書き込み	MaxCompute は、原子性、一貫性、分離性、永続性 (ACID) に基づいて同時書き込みを保証します。ACID セマンティクスの詳細については、「ACIDセマンティクス」をご参照ください。

  • バッチデータのダウンロード

    制限事項	制限事項
    DownloadSession のライフサイクル	24 時間
    InstanceDownloadSession のライフサイクル	24 時間、インスタンスのライフタイムによって制限されます。
    プロジェクトごとに作成される InstanceDownloadSession の数	5 分ごとに 200
    テーブルごとに作成される DownloadSession の数	5 分ごとに 200
    ダウンロードリクエストあたりの速度	10 MB/s
    同時 DownloadSession 作成数	同時実行スロット数によって制限されます。1 回の DownloadSession 作成で 1 つのスロットを占有します。
    同時 InstanceDownloadSession 作成数	同時実行スロット数によって制限されます。1 回の InstanceDownloadSession 作成で 1 つのスロットを占有します。
    同時ダウンロードリクエスト数	同時実行スロット数によって制限されます。1 回のデータダウンロードリクエストで 1 つのスロットを占有します。

  説明

  バッチデータは、Delta テーブルのアップサート機能をサポートしています。制限は次のとおりです：

  • UpsertSession のライフサイクル：24 時間 (h)。

  • UpsertSession の最大書き込み速度：テーブルまたはパーティションのバケット数 × 10 MB/s。

  • UpsertSession の最大スロットクォータ使用量：テーブルまたはパーティションのバケット数。

  • UpsertSession のコミット頻度：Delta テーブルの各パーティションにデータをコミットできるのは、1 分 (min) に 1 回のみです。パーティションのコミット間隔が 1 分未満の場合、システムは次のエラーメッセージを返します： ErrorCode=FlowExceeded, ErrorMessage=CommitUpsert QPS Quota exceeded。

• ストリーミングデータチャネルの制限

  制限	制限事項
  スロットあたりの書き込み速度	10 MB/s
  テーブルごとに書き込まれる同時パーティション数	64
  パーティションあたりの利用可能な最大スロット数	32
  同時フラッシュ数	同時実行スロット数によって制限されます。1 回のフラッシュで 1 つのスロットを占有します。

• データアップロードの制限

  • 各フィールドのサイズは、その制限を超えることはできません。詳細については、「データ型バージョン」をご参照ください。

    説明

    STRING フィールドのサイズは 8 MB を超えることはできません。

  • アップロード中、複数のデータレコードがパッケージ化されて転送されます。

• データ転送サービス (専用リソースグループ) のネットワーク制限

  • VPC アクセスのみをサポートします。パブリックネットワーク アクセスはサポートしていません。

  • 同一リージョン内のデータ転送のみをサポートします。リージョン間のデータ転送はサポートしていません。

共有データ転送サービスリソースグループに関する情報

データ転送サービスの有効なステータスコード

• 失敗したリクエストの再試行ポリシー

  • リクエストが失敗した後、クライアントは再試行する前に一定期間待機する必要があります。

  • 連続して失敗したリクエストの待機時間は、最低 1 秒から指数関数的に増加する必要があります。例：1 s、2 s、4 s、8 s、16 s、32 s など。

• 重複リクエスト

  • URL (URI と URI パラメーター) が同じであること。

  • 連続したリクエストが同じクライアント IP アドレスから送信されること。

• 有効なリクエスト

  有効なステータスコードを返し、再試行ポリシーに従うリクエスト。

• 無効なリクエスト

  有効なステータスコードを返すものの、再試行ポリシーに従わないリクエスト。

  説明

  サービスレベルアグリーメント (SLA) は、無効なリクエストには適用されません。

• 攻撃リクエスト

  • スロットルステータスコード 429 および 503 の再試行ポリシーに従わないリクエスト。

  • 攻撃リクエストの場合、サービスは攻撃を開始したクライアント IP アドレス、UID、およびプロジェクトを分離します。分離されたオブジェクトは、サービスにアクセスできなくなります。

  説明

  SLA は攻撃リクエストには適用されません。

よくある質問