Amazon S3 データソースを作成することで、Dataphin が Amazon S3 からビジネスデータを読み取ったり、Amazon S3 にデータを書き込んだりできるようになります。このトピックでは、Amazon S3 データソースを作成する方法について説明します。
背景情報
Amazon S3 (Simple Storage Service) は、Amazon が提供するクラウドストレージサービスです。個人、組織、企業がクラウドにデータを保存および取得できます。 Amazon S3 を使用する場合は、Dataphin でデータを開発したり、Dataphin データを Amazon S3 に書き込んだりする前に、Amazon S3 データソースを作成する必要があります。 詳細については、「Amazon S3 とは」をご参照ください。
権限要件
データソースの作成 権限を持つカスタムグローバルロールと、スーパー管理者、データソース管理者、ドメイン設計者、プロジェクト管理者 のシステムロールのみがデータソースを作成できます。
手順
Dataphin ホームページで、上部のナビゲーションバーにある [管理ハブ] > [データソース管理] をクリックします。
[データソース] ページで、[+データソースの作成] をクリックします。
[データソースの作成] ページで、[ファイル] セクションから [Amazon S3] を選択します。
最近 Amazon S3 を使用したことがある場合は、[最近使用したデータソース] セクションから選択することもできます。また、検索ボックスにキーワードを入力して Amazon S3 をすばやく検索することもできます。
[Amazon S3 データソースの作成] ページで、接続パラメータを構成します。
データソースの基本情報を構成します。
パラメーター
説明
[データソース名]
データソースの名前を入力します。名前は次の要件を満たしている必要があります。
漢字、英字、数字、アンダースコア (_)、ハイフン (-) のみを含めることができます。
長さは 64 文字を超えることはできません。
[データソースコード]
データソースコードを構成した後、
data_source_code.table_nameまたはdata_source_code.schema.table_nameの形式を使用して、Flink_SQL タスクでデータソース内のテーブルを参照できます。現在の環境に基づいて対応する環境のデータソースに自動的にアクセスする必要がある場合は、変数形式${data_source_code}.tableまたは${data_source_code}.schema.tableを使用します。 詳細については、「Dataphin データソーステーブル開発方法」をご参照ください。重要データソースコードは、正常に構成された後は変更できません。
データソースコードが正常に構成されると、アセットディレクトリとアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB データソースのみがサポートされています。
[データソースの説明]
データソースの簡単な説明。128 文字を超えることはできません。
[データソースの構成]
構成するデータソースを選択します。
ビジネスデータソースが本番データソースと開発データソースを区別する場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースが本番データソースと開発データソースを区別しない場合は、[本番データソース] を選択します。
[タグ]
タグを使用してデータソースを分類およびタグ付けできます。タグの作成方法については、「データソースタグの管理」をご参照ください。
データソースと Dataphin 間の接続パラメーターを構成します。
データソース構成で 本番 + 開発データソース を選択した場合は、本番 + 開発データソース の接続情報を構成する必要があります。データソース構成が 本番データソース の場合は、本番データソース の接続情報のみを構成する必要があります。
説明通常、本番データソースと開発データソースは、環境を分離し、開発データソースが本番データソースに与える影響を軽減するために、別々のデータソースとして構成する必要があります。ただし、Dataphin では、同じパラメータ値を持つ同じデータソースとして構成することもサポートされています。
パラメーター
説明
[エンドポイント]
Amazon S3 が配置されているリージョンのエンドポイント。形式は
http://s3-{Region}.amazonaws.comで、Region はバケットが配置されているリージョンです。Amazon S3 サービスのエンドポイントはリージョンに関連付けられています。異なるリージョンにアクセスする場合は、異なるドメイン名を入力する必要があります。 詳細については、「Amazon S3 エンドポイント」をご参照ください。
[リージョン]
バケットが配置されているリージョン。このパラメータはオプションです。エンドポイントでリージョンが指定されていない場合は、リージョンを入力する必要があります。
[バケット]
Amazon S3 リージョンに対応するバケット情報。バケットは、オブジェクトを格納するためのコンテナです。「Amazon S3 バケットの概要」を参照して、Amazon S3 リージョンに対応するバケットを取得してください。
[ディレクトリ]
特定のディレクトリに対する権限のみを持っている場合は、ここでディレクトリパスを指定できます。例:
/dataphin/。[アクセス ID]、[アクセスキー]
Amazon S3 データソースが配置されているアカウントの AccessKey ID と AccessKey Secret。
取得方法については、「Amazon アクセスキー」をご参照ください。
説明これらは、Alibaba Cloud アカウントの AccessKey ID と AccessKey Secret ではありません。
[デフォルトのリソースグループ] を選択します。これは、データベース SQL、オフラインデータベースの移行、データプレビューなど、現在のデータソースに関連するタスクを実行するために使用されます。
[接続テスト] をクリックするか、[OK] を直接クリックして、Amazon S3 データソースの作成を保存して完了します。
[接続テスト] をクリックすると、システムはデータソースが Dataphin に正常に接続できるかどうかをテストします。 [OK] を直接クリックすると、システムは選択したすべてのクラスターの接続を自動的にテストします。ただし、選択したすべてのクラスターの接続テストが失敗した場合でも、データソースは正常に作成されます。