Amazon RDS for PostgreSQL データソースを作成することで、Dataphin が Amazon RDS for PostgreSQL からビジネスデータを読み取ったり、Amazon RDS for PostgreSQL にデータを書き込んだりできるようになります。このトピックでは、Amazon RDS for PostgreSQL データソースを作成する方法について説明します。
権限要件
カスタムグローバルロールで [データソースの作成] 権限ポイントを持つユーザー、または [スーパー管理者]、[データソース管理者]、[ドメイン設計者]、[プロジェクト管理者] ロールが割り当てられているユーザーのみが、データソースを作成できます。
手順
Dataphin ホームページで、上部のナビゲーションバーから [管理ハブ] > [データソース管理] を選択します。
[データソース] ページで、[+データソースの作成] をクリックします。
[データソースの作成] ページで、[リレーショナルデータベース] セクションの [Amazon RDS For PostgreSQL] を選択します。
最近 Amazon RDS for PostgreSQL を使用した場合は、[最近使用したデータソース] セクションからも選択できます。また、検索ボックスにキーワードを入力して、Amazon RDS for PostgreSQL をすばやく見つけることもできます。
[Amazon RDS For PostgreSQL データソースの作成] ページで、接続パラメーターを構成します。
データソースの基本情報を構成します。
パラメーター
説明
[データソース名]
データソースの名前を入力します。名前は次の要件を満たしている必要があります。
漢字、英字、数字、アンダースコア(_)、ハイフン(-)のみ使用できます。
長さは 64 文字以下にする必要があります。
[データソースコード]
データソースコードを構成すると、
データソースコード.テーブル名またはデータソースコード.スキーマ.テーブル名の形式で、Flink_SQL タスクまたは Dataphin JDBC クライアントを使用して Dataphin データソーステーブルにアクセスし、迅速に利用できます。タスク実行環境に基づいてデータソースを自動的に切り替える必要がある場合は、変数形式${データソースコード}.tableまたは${データソースコード}.schema.tableを使用してアクセスできます。詳細については、「Dataphin データソーステーブルの開発方法」をご参照ください。重要データソースコードは、正常に構成された後は変更できません。
データソースコードが正常に構成された後、アセットディレクトリとアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB データソースのみがサポートされています。
[データソースの説明]
データソースの簡単な説明を入力します。説明は 128 文字以下にする必要があります。
[データソースの構成]
構成するデータソースを選択します。
ビジネスデータソースが本番データソースと開発データソースを区別する場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースが本番データソースと開発データソースを区別しない場合は、[本番データソース] を選択します。
[タグ]
タグに基づいてデータソースを分類およびタグ付けできます。タグの作成方法については、「データソースタグを管理する」をご参照ください。
データソースと Dataphin 間の接続パラメーターを構成します。
データソース構成で [本番 + 開発データソース] を選択した場合は、[本番 + 開発データソース] の接続情報を構成する必要があります。データソース構成が [本番データソース] の場合は、[本番データソース] の接続情報のみを構成する必要があります。
説明ほとんどの場合、環境分離を実現し、開発データソースが本番データソースに与える影響を軽減するために、本番データソースと開発データソースは異なるデータソースとして構成する必要があります。ただし、Dataphin では、同じパラメーター値を使用して同じデータソースとして構成することもサポートされています。
[構成方法] には、[JDBC URL] または [ホスト] を選択できます。デフォルトの選択は JDBC URL です。
JDBC URL 構成方法
パラメーター
説明
[JDBC URL]
接続アドレスの形式は
jdbc:postgresql://host:port/databaseです。[スキーマ]
ユーザー名に関連付けられたスキーマを入力します。
[ユーザー名]、[パスワード]
データベースのユーザー名とパスワードを入力します。
ホスト構成方法
ホスト構成方法
パラメーター
説明
[サーバーアドレス]
サーバーの IP アドレスとポート番号を入力します。
[+追加] をクリックして複数の IP アドレスとポート番号のセットを追加し、
アイコンをクリックして余分な IP アドレスとポート番号を削除できますが、少なくとも 1 セットは残す必要があります。[dbname]
データベース名を入力します。
パラメーター構成
パラメーター
説明
パラメーター
パラメーター名:既存のパラメーター名を選択するか、カスタムパラメーター名を入力できます。
カスタムパラメーター名には、大文字と小文字の英字、数字、ピリオド(.)、アンダースコア(_)、ハイフン(-)のみ使用できます。
パラメーター値:パラメーター名を選択すると、パラメーター値が必須になります。大文字と小文字の英字、数字、ピリオド(.)、アンダースコア(_)、ハイフン(-)のみ使用でき、長さは 256 文字以下にする必要があります。
説明[+パラメーターの追加] をクリックして複数のパラメーターを追加し、
アイコンをクリックして余分なパラメーターを削除できます。最大 30 個のパラメーターを追加できます。[スキーマ]
ユーザー名に関連付けられたスキーマ情報を入力します。
[ユーザー名]、[パスワード]
認証ユーザー名とパスワードを入力します。タスクが正常に実行されるように、ユーザーに必要なデータ権限があることを確認してください。
説明構成方法がホストに設定され、データソースの作成が完了した後、JDBC URL 構成方法に切り替える必要がある場合、システムはサーバーの IP アドレスとポート番号を連結して JDBC URL を生成し、入力します。
データソースの高度な設定を構成します。
パラメーター
説明
[connectTimeout]
データベースの connectTimeout の期間(秒単位)。デフォルトは 900 秒(15 分)です。
説明JDBC URL に connectTimeout が構成されている場合、connectTimeout は JDBC URL に構成されているタイムアウト値になります。
Dataphin V3.11 以前に作成されたデータソースの場合、デフォルトの connectTimeout は
-1で、タイムアウト制限がないことを意味します。
[socketTimeout]
データベースの socketTimeout の期間(秒単位)。デフォルトは 1800 秒(30 分)です。
説明JDBC URL に socketTimeout が構成されている場合、socketTimeout は JDBC URL に構成されているタイムアウト値になります。
Dataphin V3.11 以前に作成されたデータソースの場合、デフォルトの socketTimeout は
-1で、タイムアウト制限がないことを意味します。
[接続再試行回数]
データベース接続がタイムアウトした場合、設定された再試行回数に達するまで自動的に再接続が試行されます。最大再試行回数に達しても接続に失敗した場合は、接続は失敗します。
説明デフォルトの再試行回数は 1 で、0 から 10 までの値を構成できます。
接続再試行回数は、デフォルトで [オフライン統合タスク] と [グローバル品質](アセット品質機能モジュールが有効になっている必要があります)に適用されます。オフライン統合タスクでは、タスクレベルの再試行回数を個別に構成できます。
説明重複パラメーター値のルール:
パラメーターが [JDBC URL]、[高度な設定] パラメーター、[ホスト構成] 方法のパラメーター構成に存在する場合、[JDBC URL] の値が優先されます。
パラメーターが [JDBC URL] と [高度な設定] パラメーターの両方に存在する場合、[JDBC URL] の値が優先されます。
パラメーターが [高度な設定] パラメーターと [ホスト構成] 方法のパラメーター構成の両方に存在する場合、[高度な設定] パラメーターの値が優先されます。
[デフォルトリソースグループ] を選択します。これは、データベース SQL、オフラインデータベース移行、データプレビューなど、現在のデータソースに関連するタスクを実行するために使用されます。
[接続テスト] を実行するか、[OK] をクリックして保存し、Amazon RDS for PostgreSQL データソースの作成を完了します。
[接続テスト] をクリックすると、データソースが Dataphin に正常に接続できるかどうかがテストされます。[OK] を直接クリックすると、選択したすべてのクラスターの接続が自動的にテストされます。選択したすべてのクラスターの接続に失敗した場合でも、データソースは正常に作成されます。
[接続テスト] は、[デフォルトクラスター]、または Dataphin に登録され、正常に使用されている [登録済みのスケジューリングクラスター] の接続をテストします。[デフォルトクラスター] はデフォルトで選択されており、選択解除できません。[登録済みのスケジューリングクラスター] の下にリソースグループがない場合は、接続テストはサポートされていません。接続をテストする前に、まずリソースグループを作成する必要があります。
選択したクラスターは、現在のデータソースとのネットワーク接続をテストするためにのみ使用され、後で関連するタスクを実行するために使用されるわけではありません。
接続テストは通常 2 分未満で完了します。タイムアウトした場合は、
アイコンをクリックして具体的な理由を確認し、再試行できます。テスト結果が [接続失敗]、[接続成功]、[警告付きで成功] のいずれであっても、システムは最終結果の生成時間を記録します。
説明[デフォルトクラスター] のテスト結果のみ、[警告付きで成功]、[接続成功]、[接続失敗] の 3 つの接続ステータスが含まれます。Dataphin の [登録済みのスケジューリングクラスター] のテスト結果には、[接続成功] と [接続失敗] の 2 つの接続ステータスのみが含まれます。
テスト結果が [接続失敗] の場合は、
アイコンをクリックして具体的な失敗理由を確認できます。テスト結果が [警告付きで成功] の場合は、アプリケーションクラスターの接続は成功したが、スケジューリングクラスターの接続は失敗したことを意味します。現在のデータソースは、データ開発と統合に使用できません。
アイコンをクリックしてログ情報を表示できます。