OpenSearch:Data Lake Formation (DLF)

前提条件

• Data Lake Formation について理解していること。

• データ同期の設定に使用する Data Lake Formation の [カタログ ID]、[データベース]、および [テーブル] を設定済みであること。

Data Lake Formation データソースの追加

1. [インスタンスの詳細 > テーブル管理] ページで、[テーブルを追加] をクリックします。

2. [基本テーブル情報] ステップで、[テーブル名] (例： dlf_table) を入力し、[データシャード数] (デフォルト：1) と [データ更新リソース数] (デフォルト：2) を設定して、[次へ] をクリックします。データ更新リソース数は、リアルタイムデータ消費の同時実行数を決定し、TPS を向上させます。

• [テーブル名]：カスタム名を指定できます。

• [データシャード数]：256 以下の正の整数を指定します。この値は、インスタンス内のデータノード数の 3 倍を超えないようにしてください。

• [データ更新リソース数]：デフォルトでは、各テーブルには 2 つの無料更新リソース (各 4 vCPU と 8 GB メモリ) が含まれます。無料クォータを超えるリソースについては課金されます。詳細については、「Retrieval Engine Edition の課金概要」をご参照ください。

3. [データ同期] ステップで、データソースを設定します。設定の検証後、[次へ] をクリックします。

   [フルデータソース] で、[Data Lake Formation (DLF)] を選択し、[カタログ ID]、[データベース]、および [テーブル] を入力します。

• フルデータソース：初回のフルデータインポートのソースです。Data Lake Formation (DLF) を選択します。

• カタログ ID：データが含まれる Data Lake Formation カタログの ID です。

• データベース：テーブルが含まれるカタログ内のデータベースです。

• テーブル：同期するデータベース内のテーブルです。

  説明

  • 既存のインスタンスのデータソースとして DLF を使用するには、まずオフラインバージョンをアップグレードする必要があります。

  • 現在、Paimon タイプのカタログのみがサポートされています。

  • プライマリキーを持つ Paimon テーブルは、追加、更新、削除、クエリの各操作をサポートします。Paimon 追記専用テーブルは、書き込み操作のみをサポートし、データの変更や削除はできません。

4. [フォームモード] または [デベロッパーモード] でインデックススキーマを設定し、[次へ] をクリックします。

   [フィールド設定] セクションで、id フィールド (タイプ：INT8、プライマリキーとして)、name フィールド (タイプ：STRING)、email フィールド (タイプ：STRING) などのデータフィールドを定義します。ここでは、データ圧縮やアナライザーも設定できます。[インデックス設定] セクションで、検索インデックスを定義します。たとえば、name フィールドに基づいて、name という名前のインデックス (タイプ：STRING) を追加します。

5. 作成を確定すると、システムが自動的にテーブルを作成します。[変更履歴] ページで作成の進行状況を監視できます。テーブルのステータスが [使用中] に変わったら、[クエリテスト] ページを使用してクエリをテストできます。

注意事項

DLF の Paimon テーブルに新しいデータが書き込まれると、OpenSearch は自動的にリアルタイムインデキシングをトリガーします。ただし、API を使用して手動でデータを書き込むと、データ不整合が発生する可能性があるため、ご注意ください。