Amazon Redshift データソースを作成することで、Dataphin が Amazon Redshift からビジネスデータを読み取ったり、データを書き込んだりできるようになります。このトピックでは、Amazon Redshift データソースの作成方法について説明します。
権限要件
データソース作成権限を持つカスタムグローバルロール、およびスーパー管理者、データソース管理者、ドメインアーキテクト、プロジェクト管理者のロールのみがデータソースを作成できます。
操作手順
Dataphin のホームページで、上部のナビゲーションバーから [管理センター] > [データソース管理] を選択します。
[データソース] ページで、[+データソースの作成] をクリックします。
[データソースの作成] ページで、[ビッグデータ] セクションの [Amazon Redshift] を選択します。
最近 Amazon Redshift を使用した場合は、[最近使用したもの] セクションで Amazon Redshift を選択することもできます。また、検索ボックスにキーワードを入力して Amazon Redshift をすばやく検索することも可能です。
[Amazon Redshift データソースの作成] ページで、接続パラメーターを構成します。
データソースの基本情報の構成
パラメーター
説明
データソース名
データソースの名前を入力します。名前は、以下の要件を満たす必要があります:
名前に使用できるのは、漢字、英字、数字、アンダースコア (_)、ハイフン (-) のみです。
名前の長さは 64 文字を超えることはできません。
データソースコード
データソースコードを構成すると、Flink_SQL タスクまたは Dataphin JDBC クライアントで、
データソースコード.テーブル名またはデータソースコード.スキーマ.テーブル名の形式で Dataphin データソーステーブルにアクセスして、迅速な利用が可能になります。タスクの実行環境に基づいてデータソースを自動的に切り替えるには、変数形式${データソースコード}.テーブルまたは${データソースコード}.スキーマ.テーブルを使用してアクセスできます。詳細については、「Dataphin データソーステーブルの開発方法」をご参照ください。重要データソースコードは、一度構成すると変更できません。
データソースコードを構成した後にのみ、アセットディレクトリおよびアセットチェックリストのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB、および GaussDB データウェアハウスサービス (DWS) のデータソースのみがサポートされています。
バージョン
現在、バージョン 1.0.x のみがサポートされています。
データソースの説明
データソースの簡単な説明を入力します。説明は 128 文字を超えることはできません。
タイムゾーン
タイムゾーンは、統合タスクで時間形式のデータを処理するために使用されます。デフォルトのタイムゾーンは [Asia/Shanghai] です。[変更] をクリックして、ターゲットのタイムゾーンを選択します。オプションは次のとおりです:
GMT: GMT-12:00、GMT-11:00、GMT-10:00、GMT-09:30、GMT-09:00、GMT-08:00、GMT-07:00、GMT-06:00、GMT-05:00、GMT-04:00、GMT-03:00、GMT-03:00、GMT-02:30、GMT-02:00、GMT-01:00、GMT+00:00、GMT+01:00、GMT+02:00、GMT+03:00、GMT+03:30、GMT+04:00、GMT+04:30、GMT+05:00、GMT+05:30、GMT+05:45、GMT+06:00、GMT+06:30、GMT+07:00、GMT+08:00、GMT+08:45、GMT+09:00、GMT+09:30、GMT+10:00、GMT+10:30、GMT+11:00、GMT+12:00、GMT+12:45、GMT+13:00、GMT+14:00。
夏時間: Africa/Cairo、America/Chicago、America/Denver、America/Los_Angeles、America/New_York、America/Sao_Paulo、Asia/Bangkok、Asia/Dubai、Asia/Kolkata、Asia/Shanghai、Asia/Tokyo、Atlantic/Azores、Australia/Sydney、Europe/Berlin、Europe/London、Europe/Moscow、Europe/Paris、Pacific/Auckland、Pacific/Honolulu。
データソース構成
構成するデータソースを選択します:
ビジネスデータソースが本番データソースと開発データソースを区別する場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースが本番データソースと開発データソースを区別しない場合は、[本番データソース] を選択します。
タグ
タグに基づいてデータソースを分類し、タグ付けすることができます。タグの作成方法については、「データソースタグの管理」をご参照ください。
データソースと Dataphin 間の接続パラメーターの構成
データソース構成で [本番 + 開発データソース] を選択した場合は、[本番 + 開発データソース] の接続情報を構成する必要があります。データソース構成が [本番データソース] の場合は、[本番データソース] の接続情報のみを構成します。
説明ほとんどの場合、本番データソースと開発データソースは、環境の分離を実現し、開発データソースが本番データソースに与える影響を軽減するために、異なるデータソースとして構成する必要があります。ただし、Dataphin は、それらを同じパラメーター値を持つ同一のデータソースとして構成することもサポートしています。
パラメーター
説明
サーバーアドレス
サーバーの IP アドレスとポート番号を入力します。
[+追加] をクリックして複数の IP アドレスとポート番号のセットを追加し、
アイコンをクリックして余分な IP アドレスとポート番号を削除できます。少なくとも 1 つのセットを保持する必要があります。パラメーター設定
パラメーター名:既存のパラメーター名を選択するか、カスタムパラメーター名を入力できます。
カスタムパラメーター名には、英字、数字、ピリオド (.)、アンダースコア (_)、ハイフン (-) のみを含めることができます。
パラメーター値:パラメーター名を選択した場合、パラメーター値は必須です。英字、数字、ピリオド (.)、アンダースコア (_)、ハイフン (-) のみを含めることができ、長さは 256 文字を超えることはできません。
説明[+パラメーターの追加] をクリックして複数のパラメーターを追加し、
アイコンをクリックして余分なパラメーターを削除できます。最大 30 個のパラメーターを追加できます。dbname
データベース名を入力します。
スキーマ
ユーザー名に関連付けられたスキーマ情報を入力します。
ユーザー名、パスワード
認証用のユーザー名とパスワードを入力します。タスクが正常に実行されるように、ユーザーが必要なデータ権限を持っていることを確認してください。
詳細設定
パラメーター
説明
connectTimeout
データベースの接続タイムアウト期間 (秒)。デフォルト値は 900 秒 (15 分) です。
説明Dataphin V3.11 より前に作成されたデータソースの場合、connectTimeout のデフォルト値は
-1であり、タイムアウト制限がないことを示します。socketTimeout
データベースのソケットタイムアウト期間 (秒)。デフォルト値は 1800 秒 (30 分) です。
説明Dataphin V3.11 より前に作成されたデータソースの場合、socketTimeout のデフォルト値は
-1であり、タイムアウト制限がないことを示します。接続リトライ
データベース接続がタイムアウトした場合、指定されたリトライ回数に達するまで、システムは自動的に接続をリトライします。最大リトライ回数に達しても接続が失敗する場合、接続は失敗します。
説明デフォルトのリトライ回数は 1 です。0 から 10 の間の値を設定できます。
接続リトライ回数は、デフォルトでオフライン統合タスクとグローバル品質 (アセット品質機能の有効化が必要) に適用されます。オフライン統合タスクでは、タスクレベルでリトライ回数を個別に構成できます。
[デフォルトリソースグループ] を選択します。このリソースグループは、データベース SQL、オフラインデータベース移行、データプレビューなど、現在のデータソースに関連するタスクを実行するために使用されます。
[接続テスト] をクリックするか、直接 [OK] をクリックして、Amazon Redshift データソースの作成を保存し、完了します。
[接続テスト] をクリックすると、システムはデータソースが Dataphin に正しく接続できるかどうかをテストします。直接 [OK] をクリックすると、システムは選択されたすべてのクラスターの接続を自動的にテストします。ただし、選択されたすべてのクラスターが接続テストに失敗した場合でも、データソースは正常に作成できます。
[接続のテスト] は、Dataphin に登録され、通常使用中の [デフォルトクラスター] または [登録済みスケジューリングクラスター] の接続をテストします。[デフォルトクラスター] がデフォルトで選択されており、選択解除することはできません。[登録済みスケジューリングクラスター] の下にリソースグループがない場合、接続テストはサポートされていません。接続テストを実行する前に、まずリソースグループを作成する必要があります。
選択されたクラスターは、現在のデータソースとのネットワーク接続をテストするためにのみ使用され、後で関連タスクを実行するためには使用されません。
接続テストは通常 2 分未満で完了します。タイムアウトした場合は、
アイコンをクリックして具体的な理由を確認し、リトライできます。テスト結果が [接続失敗]、[接続成功]、または [警告付きで成功] のいずれであっても、システムは最終結果の生成時刻を記録します。
説明「デフォルトクラスター」のテスト結果にのみ、3つの接続ステータスが含まれます。「警告付き成功」、「接続成功」、および「接続失敗」です。Dataphin の「登録済みスケジューリングクラスター」のテスト結果には、2つの接続ステータスのみが含まれます。「接続成功」および「接続失敗」です。
テスト結果が [接続失敗] の場合、
アイコンをクリックして具体的な失敗理由を確認できます。テスト結果が [警告付きで成功] の場合、アプリケーションクラスターの接続は成功しましたが、スケジューリングクラスターの接続が失敗したことを意味します。現在のデータソースは、データ開発および統合には使用できません。
アイコンをクリックしてログ情報を表示できます。