StarRocks データソースを作成することで、Dataphin が StarRocks からビジネスデータを読み取ったり、StarRocks にデータを書き込んだりできるようになります。このトピックでは、StarRocks データソースを作成する方法について説明します。
背景情報
StarRocks は、リアルタイム、多次元、高同時実行のデータ分析をサポートするパフォーマンス専有型分析データベースです。StarRocks は、拡張性、可用性が高く、保守が容易です。リアルタイム分析、アドホッククエリ、データレイク分析など、OLAP シナリオでさまざまなサポートを提供します。詳細については、「StarRocks 公式ウェブサイト」をご参照ください。
権限
[データソースの作成] 権限を持つカスタムグローバルロール、およびスーパー管理者、データソース管理者、ドメインアーキテクト、プロジェクト管理者などのシステムロールのみがデータソースを作成できます。
手順
Dataphin のホームページの上部ナビゲーションバーで、[管理センター] > [データソース管理] を選択します。
[データソース] ページで、[+データソースの作成] をクリックします。
[データソースの作成] ページで、[リレーショナルデータベース] セクションの [StarRocks] を選択します。
最近 StarRocks を使用したことがある場合は、[最近使用した] セクションで StarRocks を選択することもできます。また、検索ボックスに StarRocks のキーワードを入力して、すばやくフィルターすることもできます。
[StarRocks データソースの作成] ページで、接続パラメーターを構成します。
データソースの基本情報を構成します
パラメーター
説明
データソース名
名前は次の要件を満たす必要があります:
中国語の文字、英字、数字、アンダースコア (_)、ハイフン (-) のみを含めることができます。
長さは 64 文字を超えることはできません。
データソースコード
データソースコードを構成すると、Flink SQL ノードで
data_source_code.tableまたはdata_source_code.schema.tableフォーマットを使用してデータソース内のテーブルを参照できます。対応する環境のデータソースに自動的にアクセスするには、${data_source_code}.tableまたは${data_source_code}.schema.tableフォーマットを使用します。重要データソースコードは、構成後に変更することはできません。
データソースコードを構成した後にのみ、アセットディレクトリおよびアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、および SelectDB データソースのみがサポートされています。
データソースの説明
データソースの簡単な説明。128 文字を超えることはできません。
データソース構成
構成するデータソースを選択します:
ビジネスデータソースが本番データソースと開発データソースを区別する場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースが本番データソースと開発データソースを区別しない場合は、[本番データソース] を選択します
タグ
タグを追加することで、データソースを分類できます。タグの作成方法については、「データソースタグの管理」をご参照ください。
データソースと Dataphin 間の接続パラメーターを構成します
データソース構成に [本番 + 開発データソース] を選択した場合は、[本番 + 開発データソース] の接続情報を構成する必要があります。データソース構成が [本番データソース] の場合は、[本番データソース] の接続情報のみを構成する必要があります。
説明通常、本番データソースと開発データソースは、環境の分離を実現し、開発アクティビティが本番に与える影響を軽減するために、別々のデータソースとして構成する必要があります。ただし、Dataphin は、同じパラメーター値を持つ同じデータソースとして構成することもサポートしています。
パラメーター
説明
JDBC URL
StarRocks の Java Database Connectivity (JDBC) URL を入力します。次のフォーマットがサポートされています:
jdbc:mysql:loadbalance://{fe1-host}:{port},{fe2-host}:{port},{fe3-host}:{port}/{database}jdbc:mysql://host:port/dbname
Load URL
フロントエンド (FE) のホストと HTTP ポート。
fe_host:http_port,fe_host:http_portのフォーマットを使用します。ユーザー名、パスワード
データベースへのログインに使用するユーザー名とパスワード。
データソースの高度な設定を構成します。
パラメーター
説明
connectTimeout
データベースの connectTimeout 期間 (ミリ秒単位)。デフォルトは 900000 ミリ秒 (15 分) です。
説明JDBC URL に connectTimeout 構成を含めた場合、connectTimeout は JDBC URL で構成されたタイムアウト値になります。
V3.11 より前の Dataphin バージョンで作成されたデータソースの場合、デフォルト値は
-1であり、タイムアウト制限がないことを意味します。
socketTimeout
データベースの socketTimeout 期間 (ミリ秒単位)。デフォルトは 1800000 ミリ秒 (30 分) です。
説明JDBC URL に socketTimeout 構成を含めた場合、socketTimeout は JDBC URL で構成されたタイムアウト値になります。
V3.11 より前の Dataphin バージョンで作成されたデータソースの場合、デフォルト値は
-1であり、タイムアウト制限がないことを意味します。
接続リトライ
データベース接続がタイムアウトした場合、指定されたリトライ回数に達するまでシステムは自動的に接続をリトライします。最大リトライ回数試行しても接続が失敗した場合、接続は失敗したと見なされます。
説明デフォルトのリトライ回数は 1 で、0 から 10 の間の値を構成できます。
接続リトライ回数は、デフォルトでオフライン統合タスクとグローバル品質 (アセット品質機能モジュールを有効にする必要があります) に適用されます。オフライン統合タスクでタスクレベルのリトライ回数を個別に構成することもできます。
現在のデータソースに関連するタスク (データベース SQL、オフラインデータベース移行、データプレビューなど) を実行するために使用される [デフォルトリソースグループ] を選択します。
[接続テスト] をクリックするか、直接 [OK] をクリックして、StarRocks データソースの作成を保存し完了します。
[接続テスト] をクリックすると、システムはデータソースが Dataphin と正常に接続できるかどうかをテストします。直接 [OK] をクリックすると、システムは選択されたすべてのクラスターの接続を自動的にテストしますが、選択されたすべてのクラスターが接続に失敗した場合でも、データソースは正常に作成できます。
[接続テスト] は、Dataphin に登録され、通常使用されている [デフォルトクラスター] または [登録済みスケジューリングクラスター] の接続をテストします。[デフォルトクラスター] はデフォルトで選択されており、選択を解除することはできません。[登録済みスケジューリングクラスター] の下にリソースグループがない場合、接続テストはサポートされません。接続をテストする前に、まずリソースグループを作成する必要があります。
選択されたクラスターは、現在のデータソースとのネットワーク接続性をテストするためにのみ使用され、後で関連タスクを実行するためには使用されません。
接続テストは通常 2 分未満で完了します。タイムアウトした場合は、
アイコンをクリックして具体的な理由を表示し、リトライできます。テスト結果が [接続に失敗しました]、[接続に成功しました]、または [警告付きで成功] のいずれであっても、システムは最終結果の生成時刻を記録します。
説明[デフォルトクラスター] のテスト結果には、[警告付きで成功]、[接続に成功しました]、[接続に失敗しました] の 3 つの接続ステータスが含まれます。Dataphin の [登録済みスケジューリングクラスター] のテスト結果には、[接続に成功しました] と [接続に失敗しました] の 2 つの接続ステータスのみが含まれます。
テスト結果が [接続に失敗しました] の場合、
アイコンをクリックして具体的な失敗理由を表示できます。テスト結果が [警告付きで成功] の場合、アプリケーションクラスターの接続は成功しましたが、スケジューリングクラスターの接続が失敗したことを意味します。現在のデータソースは、データ開発および統合には使用できません。
アイコンをクリックしてログ情報を表示できます。