すべてのプロダクト
Search

このプロダクト

    Dataphin:MaxCompute 入力ウィジェットの構成

    ドキュメントセンター

    Dataphin:MaxCompute 入力ウィジェットの構成

    最終更新日:Feb 06, 2025

    MaxCompute 入力ウィジェットを使用すると、MaxCompute ソースからデータを読み取ることができます。MaxCompute から他のソースにデータを同期する場合、MaxCompute 入力ウィジェットのソースと同期先のデータソースを構成することが重要です。このトピックでは、構成プロセスについて説明します。

    前提条件

    • MaxCompute データソースが作成されていること。詳細については、「MaxCompute データソースを作成する」をご参照ください。

    • MaxCompute 入力ウィジェットのプロパティを構成するには、アカウントにデータソースのリードスルー権限が必要です。この権限がない場合は、データソースから取得する必要があります。詳細については、「データソース権限をリクエストする」をご参照ください。

    手順

    1. Dataphin ホームページの上部メニューバーから、[開発] > [data Integration] を選択します。

    2. 統合ページの上部メニューバーで、プロジェクト を選択します（開発-本番モードでは環境を選択する必要があります）。

    3. 左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。次に、[バッチパイプライン] リストから、開発する オフライン パイプライン を選択して、構成ページにアクセスします。

    4. [コンポーネントライブラリ] パネルを開くには、ページの右上隅にある [コンポーネントライブラリ] をクリックします。

    5. [コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[入力] を選択します。次に、右側の入力ウィジェットリスト内にある [maxcompute] コンポーネントを見つけて、キャンバスにドラッグします。

    6. MaxCompute 入力ウィジェットカードの image アイコンをクリックして、[maxcompute] [入力構成] ダイアログボックスを開きます。

    7. [maxcompute 入力構成] ダイアログボックスで、必要なパラメーターを構成できます。

      パラメーター

      説明

      [ステップ名]

      これは MaxCompute 入力ウィジェットの名前です。Dataphin はステップ名を自動的に生成しますが、ビジネスシナリオに基づいて変更できます。命名規則は次のとおりです。

      • 日本語、英字、アンダースコア (_)、数字のみ使用できます。

      • 64 文字を超えることはできません。

      [データソース]

      データソースドロップダウンリストには、リードスルー権限を持つデータソースと持たないデータソースを含む、すべての MaxCompute タイプのデータソースが表示されます。image アイコンをクリックして、現在のデータソース名をコピーします。

      説明

      コンピューティングエンジンが MaxCompute の場合、論理テーブルを選択し、統合のために [論理テーブル入力ウィジェット] に切り替えることができます。

      リードスルー権限のないデータソースの場合、データソースの後にリクエストボタンをクリックして、データソースのリードスルー権限をリクエストできます。詳細については、「データソース権限をリクエストする」をご参照ください。

      MaxCompute タイプのデータソースをまだ持っていない場合は、[作成] をクリックしてデータソースを作成します。詳細については、「MaxCompute データソースを作成する」をご参照ください。

      [テーブル]

      データ同期のソーステーブルを選択します。テーブル名キーワードを入力して検索するか、正確なテーブル名を入力して、[完全一致検索] をクリックします。テーブルを選択すると、システムは自動的にテーブルステータスの検出を実行します。image アイコンをクリックして、現在選択されているテーブルの名前をコピーします。

      [パーティション]

      選択したテーブルがパーティションテーブルの場合、パーティション情報を入力する必要があります。静的パーティション または範囲パーティションの読み取りをサポートします。ds=20230101またはds1=2023,ds2=01などの静的パーティション。/*query*/ds >=20230101 and ds <= 20230107などの範囲パーティション。

      [パーティションが存在しない場合]

      指定されたパーティションが存在しない場合の処理ポリシーとして、以下を選択できます。

      • [タスクを失敗に設定]: タスクを終了し、失敗に設定します。

      • [タスクを成功に設定、データは書き込まれません]: タスクは正常に実行されますが、データは書き込まれません。

      • [最新の空でないパーティションを使用]: テーブルの最新の空でないパーティション (max_pt) を同期するパーティションとして使用します。テーブルにデータを含むパーティションがない場合、タスクはエラーを報告し、失敗に設定されます。

      [出力フィールド]

      出力フィールド領域には、選択したテーブルのすべてのフィールド情報が表示されます。特定のフィールドをダウンストリームウィジェットに出力する必要がない場合は、対応するフィールドを削除できます。

      説明

      コンピューティングエンジンが MaxCompute の場合、MaxCompute 入力ウィジェットの出力フィールドでは、フィールドの分類と等級の表示がサポートされています。MaxCompute 以外のコンピューティングエンジンでは、これはサポートされていません。

      • 単一フィールド削除シナリオ: 少数のフィールドを削除する必要がある場合は、操作列の sgaga アイコンをクリックして、余分なフィールドを削除できます。

      • バッチフィールド削除シナリオ: 多くのフィールドを削除する必要がある場合は、[フィールド管理] をクリックし、[フィールド管理] ダイアログボックスで複数のフィールドを選択し、image 左シフトアイコンをクリックして、選択した入力フィールドを未選択の入力フィールドに移動し、[確認] をクリックして、フィールドのバッチ削除を完了します。

        image..png

    8. [確認] をクリックして、MaxCompute 入力ウィジェットのプロパティ構成を完了します。