Lindorm データソースを作成すると、Dataphin は Lindorm にデータを書き込めるようになります。
権限
データソースの新規作成 権限を持つカスタムグローバルロールと、スーパー管理者、データソース管理者、プレートアーキテクト、プロジェクト管理者 のシステムロールのみがデータソースを作成できます。
操作手順
Dataphin ホームページで、上部のナビゲーションバーにある [管理センター] > [データソース管理] をクリックします。
[データソース] ページで、[+ 新しいデータソース] をクリックします。
[新しいデータソース] ページの [NoSQL] セクションで、[Lindorm] を選択します。
最近 Lindorm を使用した場合は、[最近使用した項目] セクションから選択するか、検索ボックスに Lindorm のキーワードを入力して見つけることができます。
[新規 Lindorm データソース] ページで、データソースの接続パラメーターを設定します。
データソースの基本情報の設定
パラメーター
説明
[データソース名]
データソースの名前を入力します。名前は次の要件を満たす必要があります:
中国語の文字、英字、数字、アンダースコア (_)、ハイフン (-) のみ使用できます。
長さは 64 文字を超えることはできません。
[データソースコード]
データソースコードを設定すると、Flink_SQL タスクまたは Dataphin JDBC クライアントで、
data_source_code.table_nameまたはdata_source_code.schema.table_nameの形式を使用して Dataphin データソーステーブルに直接アクセスできます。タスクの実行環境に基づいてデータソースを自動的に切り替えるには、変数形式${data_source_code}.tableまたは${data_source_code}.schema.tableを使用します。詳細については、「Dataphinデータソーステーブルの開発」および「」をご参照ください。重要データソースコードは、一度構成すると変更できません。
データソースコードが構成された後でのみ、アセットディレクトリおよびアセットチェックリストのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB、および GaussDB データウェアハウスサービス (DWS) のデータソースのみがサポートされています。
[データソースの説明]
データソースの簡単な説明を入力します。説明は 128 文字を超えることはできません。
[データソース設定]
設定するデータソースを選択します。
ビジネスデータソースで本番データソースと開発データソースが区別されている場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースが本番データソースと開発データソースを区別しない場合は、[本番データソース] を選択します。
[タグ]
タグを使用してデータソースを分類できます。タグを作成するには、「データソースのタグの管理」をご参照ください。
データソースとDataphin間の接続パラメーターの設定
[本番 + 開発データソース] を選択した場合は、[本番 + 開発データソース] の接続情報を設定する必要があります。データソースが [本番データソース] として設定されている場合は、[本番データソース] の接続情報のみを設定する必要があります。[接続タイプ] によって必要なパラメーターが異なり、詳細は次の表のとおりです。
説明通常、環境を分離し、開発アクティビティが本番環境に影響を与えるリスクを軽減するために、本番データソースと開発データソースは別々のインスタンスとして設定する必要があります。ただし、Dataphin では、同じパラメーター値を使用することで、それらを同じデータソースとして設定することもできます。
Spark ETL
パラメーター
説明
[core-site.xml]
Lindorm の設定ファイル (core-site.xml、hdfs-site.xml、hive-site.xml) をアップロードします。
[hdfs-site.xml]
[hive-site.xml]
[JDBC URL]
Lindorm の JDBC URL を入力します。形式は
jdbc:hive2://host:port/;?token=xxxです。[ユーザー名]と[パスワード]
Lindorm インスタンスにアクセスするためのユーザー名とパスワード。
MySQLエンジン
パラメーター
説明
[JDBC URL]
Lindorm の JDBC URL を入力します。例:
jdbc:mysql://host:port[ユーザー名]と[パスワード]
Lindorm インスタンスにアクセスするためのユーザー名とパスワード。
HBase ワイドテーブル
パラメーター
説明
[エンドポイント]
Lindorm への接続に使用されるエンドポイント。接続アドレスを取得するには、[Cloud-native multi-model database Lindorm (Wide Table)] - [Connect to and use an instance] をご参照ください。
[名前空間]
Lindorm インスタンスの名前空間。デフォルト値は
defaultです。[ユーザー名]と[パスワード]
Lindorm インスタンスにアクセスするためのユーザー名とパスワード。
[接続パラメーター] (任意)
Lindorm の追加の接続パラメーター。JSON 形式で指定します。
データベース SQL、オフラインのフルデータベース移行、データプレビューなど、現在のデータソースに関連するタスクを実行する [デフォルトのリソースグループ] を選択します。
Click [test connection] to verify the connection, or click [OK] to save the configuration and create the Lindorm data source.
When you click [test connection], the system verifies that Dataphin can connect to the data source. If you click [OK] directly, the system automatically tests the connection for all selected clusters. However, Dataphin creates the data source even if connection tests fail.