OpenSearch:DLF データソース

前提条件

開始する前に、以下のものが揃っていることを確認してください：

• DLF で作成されたカタログ、データベース、およびテーブル。これらはデータ同期中に構成されます。

• (既存のインスタンスのみ) DLF データソースを追加する前に、インスタンスのオフラインバージョンがアップグレードされていること。

• DLF についての知識DLF

制限事項

• Paimon タイプのカタログのみがサポートされています。

• 主キーテーブル：追加、削除、変更、クエリ操作をサポートします。

• 追加専用テーブル：追加のみをサポートします。変更と削除は許可されません。

DLF データソースの追加

このワークフローは、OpenSearch コンソールで 4 つのステップを経て実行されます：テーブルの基本情報の設定、DLF データソースの接続、インデックススキーマの定義、作成の確認。

1. OpenSearch Retrieval Engine Edition コンソールにログインします。左側のナビゲーションウィンドウで [インスタンス] をクリックし、ご利用のインスタンスの ID をクリックします。インスタンスのナビゲーションウィンドウで [テーブル管理] をクリックし、次に [テーブルの追加] をクリックします。

2. [テーブルの基本情報] ステップで、以下のパラメーターを設定し、[次へ] をクリックします。

   パラメーター	説明
   テーブル名	テーブルのカスタム名。
   データシャード	データシャードの数。256 を超えない正の整数である必要があります。この値は、Searcher ワーカー数の 3 倍以下に設定してください。
   データ更新リソース数	データ更新に使用されるリソースの数。各テーブルには、2 リソース (各 4 vCPU および 8 GB メモリ) の無料クォータが含まれています。追加のリソースは課金されます。

   

3. [データ同期] ステップで、以下のパラメーターを設定して DLF データソースに接続し、[チェック] をクリックして接続を検証します。チェックに合格したら、[次へ] をクリックします。

   パラメーター	説明
   フルデータソース	[DLF] を選択します。
   カタログ ID	アクセスする DLF カタログの ID。
   データベース	カタログ内のデータベースの名前。
   データテーブル	データベース内のテーブルの名前。

   

4. [インデックススキーマ] ステップで、[フォームモード] または [開発者モード] を使用してインデックススキーマを設定し、[次へ] をクリックします。

   

5. 構成を確認し、作成を確定します。システムが自動的にテーブルを作成します。進行状況は、[変更履歴] ページで追跡できます。テーブルのステータスが [使用中] に変更されたら、[クエリテスト] ページでクエリを実行し、設定を確認します。

リアルタイムインデックス作成の動作

DLF の Paimon テーブルに新しいデータが書き込まれると、OpenSearch はそのデータに基づいてリアルタイムで自動的にインデックスを作成します。API を呼び出して手動で Paimon テーブルにデータを書き込むと、データの不整合が発生する可能性があります。注意して進めてください。