Doris データソースを作成する方法 - Dataphin - Alibaba Cloud ドキュメントセンター

Doris データソースを作成し、Dataphin が Doris からデータを読み取ったり、Doris にデータを書き込んだりできるようにします。

背景情報

Doris (Apache Doris とも呼ばれる) は、MPP アーキテクチャに基づく高性能なリアルタイム分析データベースです。大量のデータセットに対するクエリ結果をサブ秒で返し、高同時実行のポイントクエリと高スループットの komplexな分析の両方をサポートします。レポート分析、アドホッククエリ、統合データウェアハウスの構築、データレイクでのフェデレーテッドクエリの高速化などのユースケースに適しています。詳細については、「Doris の公式サイト」をご参照ください。

権限

[データソースの作成] 権限を持つカスタムグローバルロール、またはスーパー管理者、データソース管理者、ドメインアーキテクト、プロジェクト管理者のいずれかである場合、データソースを作成できます。

操作手順

Dataphin のホームページで、上部メニューの [Management Center] > [Data Source Management] をクリックします。
[Data Source Management] ページで、[+New Data Source] をクリックします。
新規データソースページの [Big Data Storage] セクションで、Doris を選択します。

最近 Doris を使用した場合は、[Recently Used] セクションでも見つけることができます。また、検索ボックスに「Doris」と入力すると、すばやく見つけることができます。

[New Doris Data Source] ページで、接続パラメーターを設定します。

データソースの基本情報を設定します。

パラメーター	説明
[データソース名]	次の命名規則に従ってください。使用できるのは、中国語、英字、数字、アンダースコア (_)、ハイフン (-) のみです。長さは 64 文字以内にする必要があります。
[データソースコード]	データソースコードを設定すると、Flink SQL タスクで `data_source_code.table_name` または `data_source_code.schema.table_name` の形式を使用して、このデータソースのテーブルを参照できます。現在の環境に対応するデータソースに自動的にアクセスするには、変数形式 `${data_source_code}.table` または `${data_source_code}.schema.table` を使用します。詳細については、「Dataphin データソーステーブル開発」または「」をご参照ください。重要データソースコードは、一度構成すると変更できません。データソースコードが構成された後でのみ、アセットディレクトリおよびアセットチェックリストのオブジェクト詳細ページでデータをプレビューできます。 Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB、および GaussDB データウェアハウスサービス (DWS) のデータソースのみがサポートされています。
[データソースの説明]	データソースの簡単な説明を入力します (最大 128 文字)。
[データソース設定]	本番データソースと開発データソースを分けて使用するかどうかを指定します。ビジネスデータソースが分離されている場合は、[Production + development data source] を選択します。分離されていない場合は、[Production data source] を選択します。
[タグ]	タグを使用してデータソースを分類します。タグの作成方法については、「データソースタグの管理」をご参照ください。

データソースと Dataphin 間の接続パラメーターを設定します。

[データソース設定] を [Production + development data source] に設定した場合は、[本番データソース]と開発データソースの両方の接続パラメーターを設定します。[データソース設定] を [Production data source] に設定した場合は、[本番データソース]の接続パラメーターのみを設定します。

説明

通常、環境分離を確保し、開発作業が本番システムに影響を与えないようにするため、本番データソースと開発データソースは別々のインスタンスとして設定する必要があります。ただし、Dataphin では、同じパラメーター値を使用して、同じデータソースとして設定することもできます。

パラメーター	説明
[JDBC URL]	データソースの接続文字列を入力します。形式は `jdbc:mysql://host:port/dbname` です。
[ユーザー名][と][パスワード]	Doris データソースにアクセスするためのユーザー名とパスワードです。
[Arrow Flight SQLポート] (オプション)	Doris FE の高速カラムナ (Arrow) 読み取りポート。このポートは大規模なデータ同期に使用され、デフォルトは 8070 です。Express 同期タスクは、このポートを使用して Arrow Flight SQL プロトコル経由で Doris からデータを読み取ります。
[FEノードURL]	FE ノードの Web サーバー URL を `{FE IP}:{Http Port}` の形式で入力します。デフォルトのポートは通常 8030 です。複数の URL を入力する場合は、カンマで区切ります。
[SSL暗号化]	暗号化接続を使用する必要がある場合は、[SSL 暗号化を有効にし]、[Truststore 証明書をアップロード]して、[Truststore 証明書パスワード]を入力します。

詳細設定を行います。

パラメーター	説明
[connectTimeout]	データベースの接続タイムアウト (ミリ秒単位)。デフォルト値は 900000 (15 分) です。説明 JDBC URL にすでに connectTimeout パラメーターが含まれている場合は、その値が使用されます。 Dataphin バージョン V3.11 より前に作成されたデータソースの場合、デフォルトの connectTimeout は `-1` であり、タイムアウトしないことを示します。
[socketTimeout]	データベースのソケットタイムアウト (ミリ秒単位)。デフォルト値は 1800000 (30 分) です。説明 JDBC URL にすでに socketTimeout パラメーターが含まれている場合は、その値が使用されます。 Dataphin バージョン V3.11 より前に作成されたデータソースの場合、デフォルトの socketTimeout は `-1` であり、タイムアウトしないことを示します。
接続リトライ	接続がタイムアウトした場合、Dataphin は指定された回数までリトライします。すべてのリトライが失敗すると、接続試行は失敗と見なされます。説明デフォルトは 1 回のリトライです。有効な値の範囲は 0～10 です。接続リトライ設定は、デフォルトでオフライン統合タスクとデータ品質チェックに適用されます。データ品質機能には、アセット品質モジュールが必要です。オフライン統合タスクの場合、個々のタスクレベルでリトライを設定することもできます。

[デフォルトのリソースグループ]を選択します。このリソースグループは、SQL クエリの実行、データベース全体のオフライン移行、データプレビューの生成など、データソースに関連するタスクを実行します。
[接続テスト] または [OK] をクリックして、データソースを作成します。

[接続テスト] をクリックすると、接続設定が検証されます。[OK] をクリックした場合、このテストは自動的に実行されます。接続テストが失敗した場合でも、データソースは作成されます。