Greenplum データソースを作成することで、Dataphin が Greenplum からビジネスデータを読み取ったり、Greenplum にデータを書き込んだりできるようになります。このトピックでは、Greenplum データソースを作成する方法について説明します。
背景情報
Greenplum は、分析、機械学習、AI 分野に適したビッグデータ分析エンジンです。そのアーキテクチャは、主に大規模な分析データウェアハウスとビジネスインテリジェンス ワークロードの管理向けに設計されています。
ポリシードキュメント
データソースの作成 権限を持つカスタムグローバルロールと、スーパー管理者、データソース管理者、ドメインアーキテクト、プロジェクト管理者 などのシステムロールのみがデータソースを作成できます。
手順
Dataphin ホームページで、上部のナビゲーションバーの [管理センター] > [データソース管理] をクリックします。
[データソース] ページで、[+データソースの作成] をクリックします。
データソースの作成 ページで、[ビッグデータ] セクションの [Greenplum] を選択します。
最近 [Greenplum] を使用したことがある場合は、最近使用したデータソース セクションで [Greenplum] を選択することもできます。検索ボックスに [Greenplum] のキーワードを入力してすぐに見つけることもできます。
[作成] Greenplum [データソース] ページで、接続パラメーターを構成します。
データソースの基本情報を構成します。
パラメーター
説明
データソース名
データソースの名前を入力します。名前は次の要件を満たしている必要があります。
漢字、英字、数字、アンダースコア (_)、ハイフン (-) のみ使用できます。
長さは 64 文字以下にする必要があります。
データソースコード
データソースコードを構成すると、Flink_SQL タスクで
datasource_code.table_nameまたはdatasource_code.schema.table_nameの形式を使用して、データソース内のテーブルを参照できます。現在の環境に基づいて対応する環境のデータソースに自動的にアクセスする必要がある場合は、変数形式${datasource_code}.tableまたは${datasource_code}.schema.tableを使用します。詳細については、「Dataphin データソーステーブルの開発方法」をご参照ください。重要データソースコードは、正常に構成された後は変更できません。
データソースコードが正常に構成されると、アセットディレクトリとアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB データソースのみがサポートされています。
データソースの説明
データソースの簡単な説明を入力します。説明は 128 文字以下にする必要があります。
データソース構成
構成するデータソースを選択します。
ビジネスデータソースが本番データソースと開発データソースを区別している場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースが本番データソースと開発データソースを区別していない場合は、[本番データソース] を選択します。
タグ
タグを追加することで、データソースを分類できます。タグの作成方法については、「データソースタグの管理」をご参照ください。
データソースと Dataphin 間の接続パラメーターを構成します。
データソース構成で [本番 + 開発データソース] を選択した場合は、本番データソースと開発データソースの両方の接続情報を構成する必要があります。[本番 + 開発データソース] [本番データソース] を選択した場合は、本番データソースの接続情報のみを構成する必要があります。[本番データソース]
説明通常、本番データソースと開発データソースは別々のデータソースとして構成し、環境の隔離を実現し、開発活動が本番に及ぼす影響を軽減する必要があります。ただし、Dataphin では、同じパラメータ値を持つ同じデータソースとして構成することもサポートされています。
パラメーター
説明
JDBC URL
ターゲットデータベースの JDBC 接続アドレスを入力します。接続アドレスの形式は
jdbc:postgresql://host:port/dbnameです。ユーザー名、パスワード
Greenplum にログオンするためのユーザー名とパスワードを入力します。
データソースの高度な設定を構成します。
パラメーター
説明
connectTimeout
データベースの connectTimeout の期間(秒単位)。デフォルト値は 900 秒(15 分)です。
説明JDBC URL に connectTimeout 構成が含まれている場合、JDBC URL の connectTimeout 値が優先されます。
Dataphin V3.11 より前に作成されたデータソースの場合、デフォルトの connectTimeout 値は
-1で、タイムアウト制限がないことを示します。
socketTimeout
データベースの socketTimeout の期間(秒単位)。デフォルト値は 1800 秒(30 分)です。
説明JDBC URL に socketTimeout 構成が含まれている場合、JDBC URL の socketTimeout 値が優先されます。
Dataphin V3.11 より前に作成されたデータソースの場合、デフォルトの socketTimeout 値は
-1で、タイムアウト制限がないことを示します。
接続再試行回数
データベース接続がタイムアウトした場合、指定された再試行回数に達するまで、システムは自動的に接続を再試行します。最大再試行回数後も接続に失敗した場合は、接続は失敗します。
説明デフォルトの再試行回数は 1 です。0 ~ 10 の値を設定できます。
接続の再試行回数は、デフォルトで オフライン統合タスク と グローバル品質(アセット品質機能を有効にする必要があります)に適用されます。オフライン統合タスクでは、タスクレベルの再試行回数を個別に構成できます。
データベース SQL、オフラインデータベース移行、データプレビューなど、現在のデータソースに関連するタスクを実行するために使用される [デフォルトのリソースグループ] を選択します。
[接続テスト] をクリックするか、[OK] を直接クリックして、Greenplum データソースの作成を保存して完了します。
[接続テスト] をクリックすると、システムはデータソースが Dataphin に正しく接続できるかどうかをテストします。[OK] を直接クリックすると、システムは選択したすべてのクラスターの接続を自動的にテストします。ただし、選択したすべてのクラスターの接続テストに失敗した場合でも、データソースを作成できます。
[接続テスト] は、デフォルトクラスター、または Dataphin に登録されていて正常に使用されている 登録済みスケジューリングクラスター の接続をテストします。 はデフォルトで選択されており、選択解除できません。登録済みスケジューリングクラスター既定のクラスタ登録済みスケジューリング クラスタ にリソースグループがない場合、接続テストはサポートされていません。接続をテストする前に、まずリソースグループを作成する必要があります。
選択したクラスターは、現在のデータソースとのネットワーク接続をテストするためにのみ使用され、後で関連するタスクを実行するために使用されるわけではありません。
接続テストには通常 2 分もかかりません。タイムアウトした場合は、
アイコンをクリックして具体的な理由を確認し、再試行できます。テスト結果が [接続失敗]、[接続成功]、[警告付きで成功] のいずれであっても、システムは最終結果の生成時刻を記録します。
説明デフォルトクラスター のテスト結果のみ、警告付きで成功、接続成功、接続失敗 の 3 つの接続ステータスを含みます。Dataphin の 登録済みスケジューリングクラスター のテスト結果には、接続成功 と 接続失敗 の 2 つの接続ステータスのみが含まれます。
テスト結果が [接続失敗] の場合は、
アイコンをクリックして具体的な失敗理由を確認できます。テスト結果が [警告付きで成功] の場合、アプリケーションクラスターの接続は成功したが、スケジューリングクラスターの接続は失敗したことを意味します。現在のデータソースは、データ開発と統合に使用できません。
アイコンをクリックしてログ情報を確認できます。