Doris データソースを作成すると、Dataphin は Doris からビジネスデータを読み取ったり、Doris にデータを書き込んだりできるようになります。
背景情報
Apache Doris は、MPP アーキテクチャに基づく高性能なリアルタイム分析データベースです。大規模なデータセットに対してサブ秒の応答時間でクエリ結果を返し、高同時実行ポイントクエリと高スループットな複雑な分析の両方をサポートします。典型的なユースケースには、レポート分析、アドホッククエリ、統合データウェアハウスの構築、データレイク連合クエリの高速化などがあります。詳細については、「Doris 公式 Web サイト」をご参照ください。
権限
データソースを作成する権限を持つカスタムグローバルロール、およびスーパー管理者、データソース管理者、ドメインアーキテクト、プロジェクト管理者のロールのみがデータソースを作成できます。
手順
-
Dataphin のホームページで、上部メニューにある [Management Center] > [Data Source Management] の順にクリックします。
-
[Datasource] ページで、[+Create Data Source] をクリックします。
-
「データソースの作成」ページの [Big Data] セクションで、Doris を選択します。
[Recently Used] セクションから Doris を選択するか、キーワードで検索することもできます。
-
[Create Doris Data Source] ページで、接続パラメーターを設定します。
-
データソースの基本情報を設定します。
パラメーター
説明
[データソース名]
名前は次の要件を満たす必要があります。
-
使用できるのは、中国語の文字、大文字と小文字の英字、数字、アンダースコア (_)、ハイフン (-) のみです。
-
長さは 64 文字以内にする必要があります。
[データソースコード]
データソースコードを設定した後、Flink_SQL ノードでデータソース内のテーブルを参照するには、
datasource_code.table_nameまたはdatasource_code.schema.table_nameの形式を使用します。現在の環境のデータソースに自動的にアクセスするには、変数形式の${datasource_code}.tableまたは${datasource_code}.schema.tableを使用します。詳細については、「Dataphin データソースのテーブルを開発する」および「」をご参照ください。重要データソースコードは、一度構成すると変更できません。
データソースコードが構成された後でのみ、アセットディレクトリおよびアセットチェックリストのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB、および GaussDB データウェアハウスサービス (DWS) のデータソースのみがサポートされています。
[データソースの説明]
Doris データソースの簡単な説明。長さは 128 文字以内にする必要があります。
[データソース構成]
ビジネスデータソースが本番データソースと開発データソースを区別するかに応じて、次のように選択します。
-
ビジネスデータソースが本番データソースと開発データソースを区別する場合は、[Production + Development Data Source] を選択します。
-
ビジネスデータソースが本番データソースと開発データソースを区別しない場合は、[Production Data Source] を選択します。
[タグ]
タグに基づいてデータソースを分類し、タグ付けすることができます。タグの作成方法については、「データソースタグの管理」をご参照ください。
-
-
データソースと Dataphin 間の接続パラメーターを設定します。
[Production + Development Data Source] を選択した場合は、両方の環境の接続情報を設定します。[Production Data Source] を選択した場合は、[Production Data Source] のみの接続情報を設定します。
説明環境を分離するために、本番環境と開発環境に個別のデータソースを設定することを推奨します。ただし、Dataphin は、両方の環境で同じパラメーター値を持つ同一のデータソースを使用することもサポートしています。
パラメーター
説明
[JDBC URL]
データソースのエンドポイントを入力します。形式は
jdbc:mysql://host:port/dbnameです。[ユーザー名][、][パスワード]
Doris データソースへのログオンに使用するユーザー名とパスワードです。
[FE ノード URL]
Web サーバー経由で FE ノードにアクセスするには、FE ノードのエンドポイントを入力します。エンドポイントの形式は
{FE IP}:{Http Port}です。デフォルトのポートは 8030 です。複数の FE ノードを設定する場合は、コンマ (,) で区切ります。[SSL 暗号化]
SSL を介して暗号化された接続を確立するには、[Enable] を選択して SSL 暗号化を有効にし、[Upload The Truststore Certificate] でトラストストア証明書をアップロードし、[Truststore Certificate Password] を入力する必要があります。
-
データソースの詳細設定を設定します。
パラメーター
説明
[connectTimeout]
データベースの connectTimeout 時間 (ミリ秒単位) です。デフォルトは 900,000 ミリ秒 (15 分) です。
説明-
JDBC URL に connectTimeout の設定を含める場合、JDBC URL で設定された値が優先されます。
-
Dataphin V3.11 より前に作成されたデータソースの場合、デフォルトの connectTimeout は
-1であり、タイムアウト制限がないことを示します。
[socketTimeout]
データベースの socketTimeout 時間 (ミリ秒単位) です。デフォルトは 1,800,000 ミリ秒 (30 分) です。
説明-
JDBC URL に socketTimeout の設定を含める場合、JDBC URL で設定された値が優先されます。
-
Dataphin V3.11 より前に作成されたデータソースでは、デフォルトの socketTimeout は
-1であり、これはタイムアウト制限がないことを示します。
接続リトライ回数
データベース接続がタイムアウトした場合、システムは指定された回数に達するまで自動的にリトライします。すべてのリトライ後も接続が失敗した場合、失敗となります。
説明-
デフォルトのリトライ回数は 1 で、0 から 10 までの値を設定できます。
-
接続リトライ回数は、デフォルトでオフライン統合タスクとグローバル品質 (アセット品質機能モジュールの有効化が必要です) に適用されます。オフライン統合タスクでは、タスクレベルのリトライ回数を個別に設定できます。
-
-
-
現在のデータソースに関連するタスク (データベース SQL、オフラインデータベース移行、データプレビューなど) を実行するために、[Default Resource Group] を選択します。
-
[Test Connection] を実行するか、直接 [OK] をクリックして、Doris データソースの作成を保存して完了します。
[Test Connection] をクリックして、データソースと Dataphin 間の接続性を検証します。直接 [OK] をクリックした場合、システムは選択されたすべてのクラスターの接続を自動的にテストします。すべてのクラスターが接続テストに失敗した場合でも、データソースは作成できます。