Doris データソースを作成することで、Dataphin が Doris からビジネスデータを読み取ったり、Doris にデータを書き込んだりできるようになります。このトピックでは、Doris データソースを作成する方法について説明します。
背景情報
Doris (別名 Apache Doris) は、MPP アーキテクチャに基づく高パフォーマンスのリアルタイム分析データベースです。ミリ秒単位の応答時間で、大量データのクエリ結果を返すことができます。高並列ポイントクエリシナリオと高スループットの複雑な分析シナリオの両方を効果的にサポートします。これらの機能により、レポート分析、アドホッククエリ、統合データウェアハウス構築、データレイク フェデレーテッドクエリ高速化の要件を満たします。詳細については、「Doris 公式 Web サイト」をご参照ください。
権限
データソースを作成する権限を持つカスタムグローバルロールと、スーパー管理者、データソース管理者、ドメイン設計者、およびプロジェクト管理者のロールのみが、データソースを作成できます。
手順
Dataphin ホームページで、上部のナビゲーションバーの [管理センター] > [データソース管理] をクリックします。
データソース[データソース] ページで、 をクリックします。
[ビッグデータ] セクションのデータソース作成ページで、Doris を選択します。
最近 Doris を使用したことがある場合は、[最近使用した項目] セクションで選択することもできます。また、検索ボックスに Doris キーワードを入力して、すばやく見つけることもできます。
[Doris データソースの作成] ページで、接続パラメーターを構成します。
データソースの基本情報を構成します。
パラメータ
説明
データソース名
名前は次の要件を満たしている必要があります。
中国語、英大文字と小文字、数字、アンダースコア (_)、ハイフン (-) のみを含めることができます。
長さは 64 文字を超えることはできません。
データソースコード
データソースコードを構成した後、
data_source_code.table_nameまたはdata_source_code.schema.table_nameの形式を使用して、Flink_SQL タスクでデータソース内のテーブルを参照できます。現在の環境に基づいて対応する環境のデータソースに自動的にアクセスする必要がある場合は、変数形式${data_source_code}.tableまたは${data_source_code}.schema.tableを使用します。詳細については、「Dataphin データソーステーブル開発方法」をご参照ください。重要データソースコードは、正常に構成された後は変更できません。
データソースコードが正常に構成されると、アセットディレクトリとアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB データソースのみがサポートされています。
データソースの説明
Doris データソースの簡単な説明。128 文字を超えることはできません。
データソースの構成
ビジネスデータソースが本番データソースと開発データソースを区別するかどうかによって異なります。
ビジネスデータソースが本番データソースと開発データソースを区別する場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースが本番データソースと開発データソースを区別しない場合は、[本番データソース] を選択します。
タグ
タグに基づいてデータソースを分類およびタグ付けできます。タグの作成方法については、「データソースタグの管理」をご参照ください。
データソースと Dataphin 間の接続パラメータを構成します。
[データソースの構成] で [本番 + 開発データソース] を選択した場合は、[本番 + 開発データソース] の両方について接続情報を構成する必要があります。 [本番データソース] を選択した場合は、[本番データソース] の接続情報のみを構成する必要があります。
説明通常、本番データソースと開発データソースは別々のデータソースとして構成し、環境の隔離を実現し、開発データソースが本番データソースに与える影響を軽減する必要があります。ただし、Dataphin では、同じパラメータ値を持つ同じデータソースとして構成することもサポートされています。
パラメータ
説明
JDBC URL
データソースの接続アドレスを入力します。接続アドレスの形式は
jdbc:mysql://host:port/dbnameです。ユーザー名、パスワード
Doris データソースにログインするために使用するユーザー名とパスワード。
FE ノード URL
Web サーバー経由で FE ノードにアクセスするために使用される FE ノードの接続アドレスを入力します。接続アドレスの形式は
<FE IP>:<Http ポート>です (ポートは通常デフォルトで 8030 です)。複数の FE ノードをカンマ (,) で区切って構成できます。SSL 暗号化
SSL 経由で暗号化接続を確立する必要がある場合は、[SSL 暗号化を有効にする]必要があり、[トラストストア証明書をアップロードする]、[トラストストア証明書のパスワード]を入力します。
データソースの詳細設定を構成します。
パラメータ
説明
connectTimeout
データベースの connectTimeout の期間 (ミリ秒単位)。デフォルトは 900,000 ミリ秒 (15 分) です。
説明JDBC URL に connectTimeout 構成を含めると、connectTimeout は JDBC URL で構成されたタイムアウト期間になります。
Dataphin V3.11 より前に作成されたデータソースの場合、デフォルトの connectTimeout は
-1で、タイムアウト制限がないことを意味します。
socketTimeout
データベースの socketTimeout の期間 (ミリ秒単位)。デフォルトは 1,800,000 ミリ秒 (30 分) です。
説明JDBC URL に socketTimeout 構成を含めると、socketTimeout は JDBC URL で構成されたタイムアウト期間になります。
Dataphin V3.11 より前に作成されたデータソースの場合、デフォルトの socketTimeout は
-1で、タイムアウト制限がないことを意味します。
接続再試行回数
データベース接続がタイムアウトした場合、システムは指定された再試行回数に達するまで接続を自動的に再試行します。最大再試行回数後も接続に失敗した場合、接続は失敗と見なされます。
説明デフォルトの再試行回数は 1 で、0 から 10 までの値を構成できます。
接続再試行回数は、デフォルトで オフライン統合タスク と グローバル品質 に適用されます (アセット品質機能モジュールを有効にする必要があります)。オフライン統合タスクでは、タスクレベルの再試行回数を個別に構成できます。
[デフォルトのリソースグループ] を選択します。これは、データベース SQL、オフラインデータベース移行、データプレビューなど、現在のデータソースに関連するタスクを実行するために使用されます。
[接続テスト] を実行するか、[OK] をクリックして保存し、Doris データソースの作成を完了します。
[接続テスト] をクリックすると、システムはデータソースが Dataphin に正常に接続できるかどうかをテストします。 [OK] を直接クリックすると、システムは選択したすべてのクラスターの接続を自動的にテストします。ただし、選択したすべてのクラスターの接続テストに失敗した場合でも、データソースは正常に作成されます。