すべてのプロダクト
Search
ドキュメントセンター

DataWorks:MaxCompute Writer の構成

最終更新日:Mar 28, 2025

MaxCompute(旧称 ODPS)は、大量データの高速計算をサポートする包括的なデータインポートソリューションを提供します。

前提条件

リーダーノードまたは変換ノードが構成されていること。詳細については、「リアルタイム同期機能の概要」をご参照ください。

背景情報

MaxCompute に書き込むデータに対しては、重複排除はサポートされていません。同期ノードのオフセットをリセットした場合、またはフェールオーバー後に同期ノードが再起動された場合、重複データが MaxCompute に書き込まれる可能性があります。

手順

  1. DataStudio ページに移動します。

    DataWorks コンソール にログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[データ開発と O&M] > [データ開発] を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発に移動] をクリックします。

  2. 新建 アイコンにマウスポインタを合わせて、[ノードの作成] > [data Integration] > [リアルタイム同期] をクリックします。

    または、ビジネスフローを展開し、ターゲットビジネスフローを右クリックして、[ノードの作成] > [data Integration] > [リアルタイム同期] を選択します。

  3. [ノードの作成] ダイアログボックスで、[同期方法][単一テーブル(トピック)から単一テーブル(トピック)への ETL] として選択し、[名前] を入力し、[パス] を選択します。

  4. [確認] をクリックします。

  5. リアルタイム同期ノードの構成タブで、MaxCompute[出力] セクションの を右側のキャンバスにドラッグし、MaxCompute ノードを構成済みのリーダーノードまたは変換ノードに接続します。

  6. [maxcompute] ノードをクリックします。表示されたパネルで、パラメータを構成します。

    MaxCompute

    パラメータ

    説明

    データソース

    DataWorks に追加した MaxCompute データソースの名前。MaxCompute データソースのみ選択できます。

    データソースがない場合は、右側の [新しいデータソース] をクリックして、[管理センター][データソース] ページに移動し、MaxCompute データソースを追加します。詳細については、「MaxCompute データソース」をご参照ください。

    Tunnel リソースグループ

    Tunnel クォータグループの名前。デフォルトでは、[共通伝送リソース] が選択されています。これは、MaxCompute によって無料で提供されるクォータです。

    MaxCompute のデータ伝送リソースの詳細については、「データ伝送サービスの専用リソースグループを購入して使用する」をご参照ください。

    説明

    支払い遅延または有効期限切れのため、専用の Tunnel クォータが使用できない場合、実行中のタスクは自動的に専用の Tunnel クォータから無料の Tunnel クォータに切り替わります。

    スキーマ

    MaxCompute で作成された [スキーマ] の名前を選択します。

    テーブル

    データの書き込み先となる MaxCompute テーブルの名前。

    [テーブルの作成] をクリックしてテーブルを作成するか、[データプレビュー] をクリックして選択したテーブルをプレビューできます。

    説明

    テーブルを作成する前に、MaxCompute ノードをリーダーノードに接続し、リーダーノードに出力フィールドが指定されていることを確認してください。

    パーティション情報

    パーティション化された MaxCompute テーブルに関する情報。

    パーティション化モード

    MaxCompute テーブルのデスティネーションパーティションにデータを書き込むモード。有効な値:[時間による自動パーティション化] および [フィールド値による動的パーティション化][時間による自動パーティション化] を選択した場合、_execute_time_ フィールドの値に基づいて、MaxCompute テーブルのデスティネーションパーティションにデータが書き込まれます。詳細については、「リアルタイム同期に使用されるフィールド」をご参照ください。[フィールド値による動的パーティション化] を選択した場合、ソーステーブルのフィールドとデスティネーション MaxCompute テーブルのパーティションのフィールド間のマッピングに基づいて、MaxCompute テーブルのデスティネーションパーティションにデータが動的に書き込まれます。

    マッピング

    ソースとデスティネーション間のフィールドマッピング。[マッピング] をクリックして、フィールドマッピングを構成します。リアルタイム同期ノードは、フィールドマッピングに基づいてデータを同期します。

    テーブルを作成する場合、[テーブル] の横にある [テーブルの作成] をクリックします。[テーブルの作成] ダイアログボックスで、パラメータを構成します。一键建表

    パラメータまたはセクション

    説明

    テーブル名

    リアルタイムでデータを書き込む MaxCompute テーブルの名前。

    ライフサイクル

    MaxCompute テーブルのライフサイクル。詳細については、「ライフサイクル」をご参照ください。

    データフィールド構造

    このセクションでは、MaxCompute テーブルのフィールドを構成できます。[新しいフィールド] をクリックしてフィールドを追加できます。

    パーティション設定の構成

    このセクションでは、MaxCompute テーブルのパーティション情報を構成できます。[パーティション化モード] パラメータの有効な値:[時間による自動パーティション化] および [フィールド値による動的パーティション化]

    • 時間による自動パーティション化_execute_time_ フィールドの値に基づいて、MaxCompute テーブルのデスティネーションパーティションにデータが書き込まれます。詳細については、「リアルタイム同期に使用されるフィールド」をご参照ください。时间自动分区

      重要
      • 少なくとも 2 つのレベルのパーティション(年パーティションと月パーティション)を構成する必要があります。最大 5 つのレベルのパーティション(年、月、日、時、分パーティション)を構成できます。

      • MaxCompute テーブルの詳細については、「パーティション」をご参照ください。

    • フィールド値による動的パーティション化:ソーステーブルのフィールドとデスティネーション MaxCompute テーブルのパーティションのフィールド間のマッピングに基づいて、MaxCompute テーブルのデスティネーションパーティションにデータが動的に書き込まれます。根据字段内容动态分区たとえば、ソーステーブルのフィールド A の値が MaxCompute テーブルのパーティションフィールドの値として定義されているとします。フィールド A の値が aa の場合、データは MaxCompute テーブルの aa パーティションに書き込まれます。フィールド A の値が bb の場合、データは MaxCompute テーブルの bb パーティションに書き込まれます。

  7. リアルタイム同期ノードの構成タブの上部にあるツールバーで、保存 アイコンをクリックしてノードを保存します。