すべてのプロダクト
Search

このプロダクト

    MaxCompute:データのアップロードシナリオとツール

    ドキュメントセンター

    MaxCompute:データのアップロードシナリオとツール

    最終更新日:Aug 21, 2026

    このトピックでは、MaxCompute へのデータのアップロード方法と MaxCompute からのデータのダウンロード方法について説明します。サービス接続、ソフトウェア開発キット (SDK)、ツール、およびデータインポートやデータエクスポートなどの一般的な操作について解説します。

    背景情報

    MaxCompute は、データのアップロードとダウンロードのために複数のチャネルを提供しています。これにより、シナリオに適した技術ソリューションを選択できます。

    • バッチデータチャネル: バッチデータのアップロードとダウンロードをサポートします。

    • ストリーミングトンネル: データを MaxCompute にストリーミングできます。

    • リアルタイムデータトンネル: DataHub は、ストリーミングデータのパブリッシュ、サブスクライブ、配信、および MaxCompute へのアーカイブを可能にするストリーミングデータ処理プラットフォームです。

    機能紹介

    • バッチデータチャネルを使用したデータのアップロード

      バッチデータチャネルを使用して、MaxCompute にデータをバッチでアップロードできます。サポートされているデータソースには、外部ファイル、外部データベース、Object Storage Service、ログファイルなどがあります。バッチデータアップロードには、以下のソリューションが利用可能です。

      • Tunnel SDK: Tunnel を使用して MaxCompute にデータをアップロードできます。

      • データ同期サービス: Data Integration (DataWorks) タスクを使用して、データを抽出、変換、ロード (ETL) し、MaxCompute に取り込むことができます。

      • オープンソースのツールとプラグイン: Sqoop、Kettle、Flume、Fluentd プラグイン、または OGG を使用して MaxCompute にデータをアップロードできます。

      • 製品ツール: MaxCompute クライアントは、バッチデータチャネルの SDK に基づく組み込みの Tunnel コマンドを提供します。これらのコマンドを使用してデータをアップロードできます。Tunnel コマンドの使用方法の詳細については、「Tunnel コマンド」をご参照ください。

      説明

      オフラインデータ同期には、Data Integration を使用できます。詳細については、「Data Integration」をご参照ください。

    • ストリーミングデータチャネルを使用したデータの書き込み

      MaxCompute ストリーミングデータチャネルサービスを使用すると、ストリーミング方式で MaxCompute にデータを書き込むことができます。これは、バッチデータチャネルサービスの API やバックエンドサービスとは異なる、新しい API とバックエンドサービスのセットを使用します。MaxCompute にストリーミングデータを書き込むには、以下のソリューションが利用可能です。

      • データ同期サービス: Data Integration のリアルタイム同期タスクを使用して、ストリーミングデータ (StreamX) を書き込むことができます。

      • データ転送: ストリーミング書き込み API を統合したデータ転送モードを使用して、ストリーミングデータを書き込むことができます。この方法は、SLS と Kafka 向けメッセージキューをサポートします。

      • Flink を使用したリアルタイム書き込み: Flink プラットフォームを使用して、リアルタイムでストリーミングデータを書き込むことができます。

    ソリューションの信頼性

    MaxCompute はサービスレベルアグリーメント (SLA) を提供しています。ただし、バッチデータチャネルとストリーミングデータチャネルは、デフォルトで無料の共有リソースを使用します。そのため、特定のソリューションの信頼性を考慮する必要があります。Tunnel サービスは、アクセスリクエストの受信順に基づいて、利用可能なサービスリソース (スロット) を割り当てます。

    • 利用可能なサービスリソースがない場合、リソースが解放されるまで新しいアクセスリクエストは拒否されます。

    • 5 分以内に有効なリクエスト数が 100 に達しない場合、サービスは利用不可とは見なされません。有効なリクエストの詳細については、「Data Transmission Service の有効なステータスコード」をご参照ください。

    • リクエストのレイテンシーとスロットルされたリクエストは、SLA の対象外です。サービス制限の詳細については、「Data Transmission Service の使用制限」をご参照ください。

    注意事項

    ネットワークの状態は、Tunnel のアップロードおよびダウンロード速度に大きく影響します。速度は通常 1 MB/s から 10 MB/s の範囲です。大量のデータをアップロードする場合は、Tunnel エンドポイントを内部ネットワークまたは VPC のエンドポイントに設定できます。Alibaba Cloud ECS インスタンスまたは専用回線を介して内部ネットワークまたは VPC に接続する必要があります。アップロード速度が遅すぎる場合は、マルチスレッドのアップロード方式を使用できます。

    Tunnel エンドポイントの詳細については、「エンドポイント」をご参照ください。