OSS データソースを作成することで、Dataphin が OSS からビジネスデータを読み取ったり、OSS にデータを書き込んだりできるようになります。このトピックでは、OSS データソースを作成する方法について説明します。
背景情報
OSS とは、Alibaba Cloud Object Storage Service を指します。OSS は、安全で費用対効果が高く、信頼性の高いクラウドストレージサービスです。 OSS を使用すると、大量のデータをクラウドに保存できます。Alibaba Cloud Object Storage Service を使用する場合は、データ開発のために Dataphin に接続する前、または Dataphin データを OSS に書き込む前に、OSS データソースを作成する必要があります。詳細については、「OSS の概要」をご参照ください。
権限
データソースを作成する前提条件注:部門アーキテクトメディア設定を構成する 権限を持つカスタムグローバルロールと、、、、 などのシステムロールのみが、データソースを作成できます。
手順
Dataphin ホームページで、上部のナビゲーションバーの [管理センター] > [データソース管理] をクリックします。
[データソース] ページで、[+データソースの作成] をクリックします。
[データソースの作成] ページで、[ファイル] セクションの [OSS] を選択します。
最近 OSS を使用したことがある場合は、[最近使用したデータソース] セクションで OSS を選択することもできます。また、検索ボックスにキーワードを入力して OSS をすばやく検索することもできます。
[OSS データソースの作成] ページで、接続パラメーターを設定します。
データソースの基本情報を構成します。
パラメーター
説明
データソース名
名前は次の要件を満たしている必要があります。
漢字、英字、数字、アンダースコア (_)、ハイフン (-) のみ使用できます。
長さは 64 文字以下にする必要があります。
データソースコード
データソースコードを設定した後、Flink_SQL タスクで
データソースコード.テーブル名またはデータソースコード.スキーマ.テーブル名形式を使用して、データソース内のテーブルを参照できます。現在の環境に基づいて対応する環境のデータソースに自動的にアクセスする必要がある場合は、変数形式${データソースコード}.tableまたは${データソースコード}.schema.tableを使用できます。詳細については、「Dataphin データソーステーブル開発方法」をご参照ください。重要データソースコードは、設定が完了した後は変更できません。
データソースコードが正常に設定されると、アセットディレクトリとアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB データソースのみがサポートされています。
データソースの説明
データソースの簡単な説明 (128 文字以内)。
データソース設定
設定するデータソースを選択します。
ビジネスデータソースが本番データソースと開発データソースを区別している場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースが本番データソースと開発データソースを区別していない場合は、[本番データソース] を選択します。
タグ
タグに基づいてデータソースを分類およびタグ付けできます。タグの作成方法については、「データソースタグの管理」をご参照ください。
データソースと Dataphin 間の接続パラメーターを構成します。
データソース設定で を選択した場合は、本番データソースと開発データソースの両方の接続情報を設定する必要があります。 を選択した場合は、本番データソースの接続情報のみを設定する必要があります。本番データソース 本番データソースFTP保存
説明通常、本番データソースと開発データソースは異なるデータソースとして設定し、開発環境を本番環境から分離し、開発データソースが本番データソースに与える影響を軽減する必要があります。ただし、Dataphin では、同じパラメーター値を持つ同じデータソースとして設定することもサポートされています。
パラメーター
説明
エンドポイント
OSS が配置されているリージョンのエンドポイント。形式は
http://{oss-Region}.aliyuncs.comで、Region はバケットが配置されているリージョンです。たとえば、中国 (杭州) のエンドポイントはhttps://oss-cn-hangzhou.aliyuncs.comです。OSS サービスのエンドポイントはリージョンに関連しています。異なるリージョンにアクセスする場合は、異なるドメイン名を入力する必要があります。
バケット
OSS が配置されているリージョンに対応するバケット情報。バケットは、オブジェクトを格納するために使用されるコンテナーです。[バケットリスト] ページで、OSS が配置されているリージョンに対応するバケットを取得できます。
1 つ以上のバケットを作成し、各バケットに 1 つ以上のオブジェクトを追加できます。データ同期の際に、DataWorks はこのパラメーターで指定されたバケット内でのみオブジェクトを検索できます。
ディレクトリ
特定のディレクトリに対する権限のみを持っている場合は、ここでディレクトリパスを指定できます。例:
/dataphin/。CNAME ドメイン名
オプション。OSS データソースのカスタムドメイン名。Alibaba Cloud OSS カスタムドメイン名の詳細については、「カスタムドメイン名を使用して OSS リソースにアクセスする」をご参照ください。
アクセス ID、アクセスキー
OSS データソースが属するアカウントの AccessKey ID と AccessKey Secret。
取得方法については、「AccessKey ペアを取得する」をご参照ください。
現在のデータソースに関連するタスク (データベース SQL、オフラインデータベースの移行、データプレビューなど) を実行するために使用される [デフォルトリソースグループ] を選択します。
[接続テスト] をクリックするか、[OK] をクリックして保存し、OSS データソースの作成を完了します。
[接続テスト] をクリックすると、データソースが Dataphin に正常に接続できるかどうかがテストされます。[OK] を直接クリックすると、選択したすべてのクラスターの接続が自動的にテストされます。ただし、選択したすべてのクラスターの接続テストが失敗した場合でも、データソースは正常に作成されます。