Lindorm(計算エンジン)データソースを作成することで、Dataphin が Lindorm(計算エンジン)からビジネスデータを読み取ったり、データを書き込んだりできるようになります。このトピックでは、Lindorm(計算エンジン)データソースを作成する方法について説明します。
背景情報
Lindorm(計算エンジン)は、Alibaba Cloud が独自に開発したデータベースです。ワイドテーブル、時系列、ファイル、検索など、複数のデータモデルを提供します。ミリ秒レベルのオンラインデータ処理、低コストのストレージ、および大量データの分析をサポートします。
権限要件
データソースの作成 権限を持つカスタム グローバル ロールと、スーパー管理者、データソース管理者、ドメイン設計者、プロジェクト管理者 などのシステム ロールのみが、データソースを作成できます。
手順
Dataphin ホームページで、上部のナビゲーションバーの [管理ハブ] > [データソース管理] をクリックします。
[データソース] ページで、[+データソースの作成] をクリックします。
[データソースの作成] ページで、[ビッグデータ] セクションの [Lindorm(計算エンジン)] を選択します。
最近 Lindorm(計算エンジン)を使用したことがある場合は、[最近使用したデータソース] セクションから選択することもできます。また、検索ボックスにキーワードを入力して、Lindorm(計算エンジン)をすばやくフィルタリングすることもできます。
[Lindorm(計算エンジン)データソースの作成] ページで、接続パラメータを構成します。
データソースの基本情報を構成します。
パラメータ
説明
[データソース名]
データソースの名前を入力します。名前は次の要件を満たしている必要があります。
日本語、英字、数字、アンダースコア(_)、ハイフン(-)のみ使用できます。
名前は最大 64 文字まで入力できます。
[データソースコード]
データソースコードを構成すると、Flink_SQL タスクで、または
data source code.table nameまたはdata source code.schema.table nameの形式で Dataphin JDBC クライアントを使用して、Dataphin データソーステーブルにアクセスして迅速に利用できます。タスク実行環境に基づいてデータソースを自動的に切り替える必要がある場合は、変数形式${data source code}.tableまたは${data source code}.schema.tableを使用してアクセスできます。詳細については、「Dataphin データソーステーブルの開発方法」をご参照ください。重要データソースコードは、正常に構成された後は変更できません。
データソースコードが正常に構成されると、アセットディレクトリとアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB データソースのみがサポートされています。
データソースの説明
データソースの簡単な説明を入力します。説明は 128 文字を超えることはできません。
データソースの構成
構成するデータソースを選択します。
ビジネスデータソースが本番データソースと開発データソースを区別している場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースが本番データソースと開発データソースを区別していない場合は、[本番データソース] を選択します。
[タグ]
タグに基づいてデータソースを分類およびタグ付けできます。タグの作成方法については、「データソースタグの管理」をご参照ください。
データソースと Dataphin 間の接続パラメータを構成します。
データソース構成で [本番 + 開発データソース] を選択した場合は、[本番 + 開発データソース] の両方の接続情報を構成する必要があります。[本番データソース] を選択した場合は、[本番データソース] の接続情報のみを構成する必要があります。
説明通常、本番データソースと開発データソースは、環境を分離し、開発データソースが本番データソースに及ぼす影響を軽減するために、別々のデータソースとして構成する必要があります。ただし、Dataphin では、同じパラメータ値を使用して同じデータソースとして構成することもサポートされています。
パラメータ
説明
core-site.xml
Lindorm(計算エンジン)の core-site.xml 構成ファイルをアップロードします。
hdfs-site.xml
Lindorm(計算エンジン)の hdfs-site.xml 構成ファイルをアップロードします。
hive-site.xml
Lindorm(計算エンジン)の hive-site.xml 構成ファイルをアップロードします。
JDBC URL
Lindorm(計算エンジン)の JDBC URL を入力します。形式は
jdbc:hive2://host:port/;?token=xxxです。
現在のデータソースに関連するタスク(データベース SQL、オフラインデータベースの移行、データプレビューなど)を実行するために使用される [デフォルトのリソースグループ] を選択します。
[接続テスト] をクリックするか、[OK] をクリックして保存し、Lindorm(計算エンジン)データソースの作成を完了します。
[接続テスト] をクリックすると、システムはデータソースが Dataphin に正常に接続できるかどうかをテストします。[OK] を直接クリックすると、システムは選択したすべてのクラスターの接続を自動的にテストします。ただし、選択したすべてのクラスターの接続テストが失敗した場合でも、データソースは正常に作成されます。