Elasticsearch データソースを作成することで、Dataphin から Elasticsearch にデータを書き込むことができます。このトピックでは、Elasticsearch データソースを作成する方法について説明します。
背景情報
Alibaba Cloud Elasticsearch は、オープンソースの Elasticsearch に基づくフルマネージド Elasticsearch クラウドサービスです。リアルタイムログ分析と処理、情報検索、多次元データクエリと統計分析などのシナリオで広く使用されています。
Alibaba Cloud Elasticsearch を使用していて、Dataphin から Elasticsearch にデータをエクスポートする場合、最初に Elasticsearch データソースを作成する必要があります。
権限要件
簡単な管理:前提条件前提条件変更を保存手順カスタムグローバルロールの 権限ポイントを持つユーザーと、、、、 システムロールを持つユーザーのみがデータソースを作成できます。
手順
Dataphin ホームページの上部ナビゲーションバーで、[管理センター] > [データソース管理] を選択します。
[データソース] ページで、[+データソースの作成] をクリックします。
[データソースの作成] ページで、[NoSQL] セクションの [Elasticsearch] を選択します。
最近 Elasticsearch を使用したことがある場合は、[最近使用したデータソース] セクションで Elasticsearch を選択することもできます。また、検索ボックスに Elasticsearch キーワードを入力して、すばやく検索することもできます。
[Elasticsearch データソースの作成] ページで、接続パラメーターを構成します。
データソースの基本情報を構成します。
パラメーター
説明
データソース名
データソースの名前を入力します。名前は次の要件を満たしている必要があります。
漢字、英字、数字、アンダースコア (_)、ハイフン (-) のみを含めることができます。
長さは 64 文字を超えることはできません。
データソースコード
データソースコードを構成した後、Flink_SQL タスクで Dataphin データソーステーブルに直接アクセスしたり、Dataphin JDBC クライアントを使用して
データソースコード.テーブル名またはデータソースコード.スキーマ.テーブル名の形式で迅速に利用したりできます。タスク実行環境に基づいてデータソースを自動的に切り替える必要がある場合は、変数形式${データソースコード}.tableまたは${データソースコード}.schema.tableを使用してアクセスします。詳細については、「Dataphin データソーステーブルの開発方法」をご参照ください。重要データソースコードは、正常に構成された後は変更できません。
データソースコードが正常に構成されると、アセットディレクトリとアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB データソースのみがサポートされています。
バージョン
Elasticsearch 6.x、Elasticsearch 7.x、Elasticsearch 8.x バージョンをサポートしています。
データソースの説明
データソースの簡単な説明(128 文字以内)。
データソース構成
構成するデータソースを選択します。
ビジネスデータソースが本番データソースと開発データソースを区別する場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースが本番データソースと開発データソースを区別しない場合は、[本番データソース] を選択します。
タグ
タグに基づいてデータソースを分類およびタグ付けできます。タグを作成するには、「データソースタグの管理」をご参照ください。
データソースと Dataphin 間の接続パラメーターを構成します。
前の手順で [本番 + 開発データソース]注: を選択した場合は、 の構成ページが表示されます。[本番データソース]サポートされているスタック を選択した場合は、 の構成ページのみが表示されます。
説明通常、本番データソースと開発データソースは別々のデータソースとして構成し、開発データソースと本番データソースの環境を分離することで、開発データソースが本番データソースに与える影響を軽減する必要があります。ただし、Dataphin では、同じパラメーター値を使用して同じデータソースとして構成することもサポートされています。
パラメーター
説明
ES URL
Elasticsearch のエンドポイント。プライベートネットワークのエンドポイントを使用することをお勧めします。形式は
http://host:portです。例:http://192.168.*.212:9200。ユーザー名、パスワード
Elasticsearch インスタンスにアクセスするためのユーザー名とパスワード。
[デフォルトリソースグループ] を選択します。これは、データベース SQL、オフラインデータベース移行、データプレビューなど、現在のデータソースに関連するタスクを実行するために使用されます。
[接続テスト] を実行するか、[OK] をクリックして保存し、Elasticsearch データソースの作成を完了します。
[接続テスト] をクリックすると、システムはデータソースが Dataphin と正常に接続できるかどうかをテストします。[OK] を直接クリックすると、システムは選択したすべてのクラスタの接続を自動的にテストしますが、選択したすべてのクラスタの接続に失敗した場合でも、データソースは正常に作成されます。