このトピックでは、Lindorm データソースを作成し、Dataphin が Lindorm にデータを書き込めるようにする手順について説明します。
権限
[Add Data Source] 権限を持つカスタムグローバルロールと、スーパー管理者、データソース管理者、ワークスペースアーキテクト、プロジェクト管理者などのシステムロールのみがデータソースを作成できます。
手順
Dataphin ホームページの上部メニューで、[Management Center] > [Data Source Management] を選択します。
[Data Source] ページで、[+ Add Data Source] をクリックします。
[Add Data Source] ページの [NoSQL] セクションで [Lindorm] を選択します。
最近 Lindorm を使用した場合は、[Recently Used] セクションから選択することもできます。または、検索ボックスに「Lindorm」と入力してすばやく見つけることもできます。
[New Lindorm Data Source] ページで、データソースの接続パラメーターを設定します。
基本情報の構成
パラメーター
説明
[データソース名]
データソースの名前を入力します。名前は次の要件を満たす必要があります:
使用できる文字は、中国語、大文字と小文字の英字、数字、アンダースコア (_)、ハイフン (-) のみです。
長さは最大64文字です。
[データソース ID]
データソース ID を設定すると、Flink SQL タスクや Dataphin JDBC クライアントを使用して Dataphin データソーステーブルに直接アクセスできます。フォーマットは
dataSourceID.tableNameまたはdataSourceID.schema.tableNameを使用します。タスクの実行環境に基づいてデータソースを自動的に切り替えるには、変数形式${dataSourceID}.tableまたは${dataSourceID}.schema.tableを使用します。詳細については、「Dataphin データソーステーブル開発メソッド」「」をご参照ください。重要データソースコードは、一度構成すると変更できません。
データソースコードが構成された後でのみ、アセットディレクトリおよびアセットチェックリストのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB、および GaussDB データウェアハウスサービス (DWS) のデータソースのみがサポートされています。
[データソースの説明]
データソースの簡単な説明を入力します。説明は 128 文字を超えることはできません。
[データソースの設定]
設定するデータソースを選択します。
ビジネスデータソースが本番データソースと開発データソースを区別する場合は、[Production + Development Data Source] を選択します。
ビジネスデータソースが本番データソースと開発データソースを区別しない場合は、[Production Data Source] を選択します。
[タグ]
タグを追加して、データソースを分類できます。タグを作成するには、「データソースタグの管理」「」をご参照ください。
接続パラメーターの設定
[本番 + 開発データソース] を選択した場合、[本番データソースと開発データソース] の両方の接続情報を設定する必要があります。[本番データソース] を選択した場合、[本番データソース] の接続情報を設定するだけで済みます。必要なパラメーターは [接続タイプ] によって異なり、詳細は以降のセクションで説明します。
説明通常、環境を分離し、開発作業が本番環境に影響を与えないようにするため、本番データソースと開発データソースを別々のインスタンスとして設定する必要があります。ただし、Dataphin では、同じパラメーター値を入力することで、両方に同じインスタンスを使用できます。
ETL リソースグループ (Spark)
パラメーター
説明
[core-site.xml]
Lindorm インスタンスから core-site.xml、hdfs-site.xml、hive-site.xml の設定ファイルをアップロードします。
[hdfs-site.xml]
[hive-site.xml]
[JDBC URL]
Lindorm の JDBC URL を入力します。形式は
jdbc:hive2://host:port/;?token=xxxです。[ユーザー名]、[パスワード]
Lindorm インスタンスにアクセスするためのユーザー名とパスワードです。
OLAP / ワイドカラム / 列ストア (MySQL)
パラメーター
説明
[JDBC URL]
Lindorm の JDBC URL を入力します。例:
jdbc:mysql://host:port。[ユーザー名]、[パスワード]
Lindorm インスタンスにアクセスするためのユーザー名とパスワードです。
ワイドカラム (HBase)
パラメーター
説明
[エンドポイント]
Lindorm の接続エンドポイントです。取得するには、「Lindorm (Wide Table)」ドキュメントの「インスタンスへの接続と使用」トピックをご参照ください。
[名前空間]
Lindorm の名前空間です。デフォルト値は default です。
[ユーザー名]、[パスワード]
Lindorm インスタンスにアクセスするためのユーザー名とパスワードです。
[接続パラメーター] (任意)
Lindorm に接続するための追加パラメーターです。JSON 形式で設定します。
グラフエンジン
パラメーター
説明
[エンドポイント]
Lindorm グラフエンジンの接続エンドポイントです。形式は
server_host:gremlin_portです。[DB]
データベース (サブグラフ) の名前です。デフォルト値は default です。
[ユーザー名]、[パスワード]
認証用のユーザー名とパスワードです。
[Default Resource Group] を選択します。このリソースグループは、データベース SQL クエリ、データベース全体のオフライン移行、データプレビューなど、データソースに関連するタスクを実行します。
[接続テスト] をクリックして接続をテストするか、[OK] をクリックして設定を保存し、Lindorm データソースを作成します。
[接続テスト] をクリックすると、Dataphin はデータソースへの接続をテストします。[OK] を直接クリックすると、システムは選択されたすべてのクラスターへの接続を自動的にテストします。選択されたすべてのクラスターで接続テストが失敗した場合でも、データソースを作成できます。