このトピックでは、Elasticsearch 出力コンポーネントを構成する方法について説明します。
前提条件
Elasticsearch データソースが作成されていること。詳細については、「Elasticsearch データソースの作成」をご参照ください。
Elasticsearch 出力コンポーネントのプロパティを構成するには、アカウントにデータソースに対するライトスルー権限が必要です。これらの権限がない場合は、データソースへのアクセスをリクエストする必要があります。詳細については、「データソース権限のリクエスト」をご参照ください。
手順
Dataphin ホームページの上部メニューバーで、[開発] > [data Integration] を選択します。
統合ページの上部メニューバーで、プロジェクト を選択します（開発-本番モードでは環境を選択する必要があります）。
左側のナビゲーションウィンドウで、[バッチパイプライン] をクリックします。[バッチパイプライン] リストで、開発が必要なオフライン パイプラインをクリックして、構成ページを開きます。
ページの右上隅にある [コンポーネントライブラリ] をクリックして、[コンポーネントライブラリ] パネルを開きます。
[コンポーネントライブラリ] パネルの左側のナビゲーションウィンドウで、[出力] を選択し、右側の入力コンポーネントリストで [elasticsearch] コンポーネントを見つけて、キャンバスにドラッグします。
ターゲット入力コンポーネントの
アイコンをクリックしてドラッグし、現在の Elasticsearch 出力コンポーネントに接続します。Elasticsearch 出力コンポーネントカードの
アイコンをクリックして、[elasticsearch 出力構成] ダイアログボックスを開きます。
[elasticsearch 出力構成] ダイアログボックスで、パラメーターを構成します。
パラメーター
説明
[ステップ名]
Elasticsearch 出力コンポーネントの名前。Dataphin はステップ名を自動的に生成しますが、ビジネスシナリオに応じて変更できます。命名規則は次のとおりです。
中国語、英大文字と小文字、アンダースコア (_)、数字のみを含みます。
長さは 64 文字以内です。
[データソース]
データソースのドロップダウンリストには、ライトスルー権限を持つデータソースと持たないデータソースを含め、すべての Elasticsearch タイプのデータソースが表示されます。
データソースにライトスルー権限がない場合は、データソースの横にある [リクエスト] を選択して、必要な権限を申請します。詳細については、「データソース権限のリクエスト、更新、および返却」をご参照ください。
Elasticsearch タイプのデータソースがない場合は、[作成] をクリックしてデータソースを作成します。詳細については、「Elasticsearch データソースの作成」をご参照ください。
[クエリタイプ]
インデックスまたはエイリアスに基づいて書き込むインデックスドキュメントを選択できます。クエリの種類によって、必要な構成情報が異なります。
重要エイリアス を選択する場合、単一のインデックスを指すエイリアスと、
is_write_indexが設定されたエイリアスのみがサポートされます。そうでない場合、書き込みは失敗します。インデックス。
インデックスドキュメント: Elasticsearch の
index名です。インデックスドキュメントタイプ: Elasticsearch のインデックスのタイプ名。
説明インデックスドキュメントインデックスドキュメントタイプ と は、Elasticsearch 6.x および 7.x バージョンでは必須ですが、Elasticsearch 8.x バージョンでは必須ではありません。
エイリアス。
インデックス エイリアス: Elasticsearch の
indexエイリアスはAliasです。インデックスドキュメントタイプ: Elasticsearch のインデックスのタイプ名。
[フィールド区切り文字]
これはオプションです。フィールド間の区切り文字を入力します。入力しない場合、システムは自動的にカンマ (,) を区切り文字として追加します。
[ロードポリシー]
ターゲットテーブルにデータを書き込むポリシーを選択します。[ロードポリシー] には以下が含まれます。
[データの上書き] は、現在のソーステーブルに基づいてターゲットテーブルの既存データを上書きすることを意味します。
[データの追加] は、既存データを変更せずに、ターゲットテーブルの既存データにデータを追加することを意味します。
説明クエリの種類 が エイリアス に設定されている場合、読み込みポリシー は データの追加 にのみ設定できます。
[入力フィールド]
アップストリーム出力に基づいて入力フィールドを表示します。
[出力フィールド]
出力フィールドを表示します。
フィールド情報の取得。
[クエリタイプ] が インデックスフィールド情報の取得索引 に設定されている場合、 をクリックして、選択した のフィールド情報を取得できます。
[フィールドの一括追加]。
[一括追加] をクリックします。
JSON 形式でバッチ構成します。例は次のとおりです。
[{"name":"col_integer","type":"integer"}, {"name":"col_long","type":"long"}, {"name":"col_double","type":"double"}]説明name はインポートされたフィールドの名前を示し、type はインポートされたフィールドのタイプを示します。たとえば、
"name":"user_id","type":"String"は、user_id という名前のフィールドをインポートし、フィールドタイプを String に設定することを示します。TEXT 形式でバッチ構成します。例は次のとおりです。
col_long,long col_double,double行区切り文字は、各フィールドの情報を区切るために使用されます。デフォルトは改行 (\n) で、改行 (\n)、セミコロン (;)、ピリオド (.) をサポートしています。
列区切り文字は、フィールド名とフィールドタイプを区切るために使用されます。デフォルトはカンマ (,) です。
[確認] をクリックします。
[出力フィールドの作成]。
[出力フィールドの作成] をクリックし、ページのプロンプトに従って [列] に入力し、[タイプ] を選択します。
[アップストリームフィールドのコピー]。
アップストリーム入力フィールドを出力フィールドとして参照します。
出力フィールドの管理。
追加されたフィールドに対して次の操作を実行できます。
ドラッグ [列] を
シフト アイコンの横をクリックして、フィールドの位置を変更します。操作 列の
編集アイコンをクリックして、既存のフィールドを編集します。操作 列の
削除アイコンをクリックして、既存のフィールドを削除します。
[マッピング]
マッピングは、ソーステーブルの入力フィールドをターゲットテーブルの出力フィールドにマッピングするために使用され、後続のデータ同期を容易にします。マッピングには、同名マッピングと同列マッピングが含まれます。該当するシナリオは次のとおりです。
[同名マッピング]: 同じフィールド名を持つフィールドをマッピングします。
[同列マッピング]: ソーステーブルとターゲットテーブルのフィールド名が一致しませんが、フィールドの対応する行のデータをマッピングする必要があります。同じ行のフィールドのみがマッピングされます。
[インデックススキーマ]
説明この項目は、クエリの種類インデックス読み込みポリシーデータを上書きする が に設定され、 が に設定されている場合にのみ構成する必要があります。
システムデフォルトの選択またはオンラインの再利用をサポートします。
オンラインで再利用: インデックスが再構築されるたびに、既存の Elasticsearch インデックス スキーマを再利用します。
システムの既定: Elasticsearch 出力コンポーネントで設定された出力フィールドに基づいて、インデックスが再構築されるたびにインデックススキーマが自動的に生成されます。
[確認] をクリックして、[elasticsearch] 出力コンポーネントのプロパティ構成を完了します。