FTP データソースを作成することで、Dataphin が FTP からビジネスデータを読み取ったり、FTP にデータを書き込んだりできるようになります。このトピックでは、FTP データソースを作成する方法について説明します。
背景情報
ファイル転送プロトコル ( FTP ) は、TCP/IP プロトコルスイートのプロトコルです。Web サイトを開発する場合、FTP クライアントを使用して、FTP プロトコルを介して Web サイトプログラムまたは Web ページを Web サーバーにアップロードできます。データ開発のために Dataphin と接続したり、Dataphin データを FTP に書き込んだりする必要があるシナリオで FTP を使用する場合は、最初に FTP データソースを作成する必要があります。
権限
データソースを作成するスーパー管理者手順新規追加手順 2: アプリケーションを構成する 権限を持つカスタムグローバルロールと、、、、 などのシステムロールのみが、データソースを作成できます。
手順
Dataphin ホームページの上部ナビゲーションバーで、[管理センター] > [データソース管理] を選択します。
[データソース] ページで、[+データソースの作成] をクリックします。
[データソースの作成] ページで、[ファイル] セクションの [FTP] を選択します。
最近 FTP を使用したことがある場合は、[最近使用したデータソース] セクションで FTP を選択することもできます。また、検索ボックスに FTP キーワードを入力して、すばやくフィルタリングすることもできます。
[FTP データソースの作成] ページで、接続パラメーターを設定します。
データソースの基本情報を設定します。
パラメーター
説明
[データソース名]
データソースの名前を入力します。名前は次の要件を満たしている必要があります。
使用できるのは、漢字、英字、数字、アンダースコア(_)、またはハイフン(-)のみです。
長さは 64 文字以下にする必要があります。
[データソースコード]
データソースコードを設定した後、
データソースコード.テーブル名
またはデータソースコード.スキーマ.テーブル名
の形式を使用して、Flink_SQL タスクでデータソース内のテーブルを参照できます。現在の環境に基づいて対応する環境のデータソースに自動的にアクセスする必要がある場合は、変数形式${データソースコード}.table
または${データソースコード}.schema.table
を使用できます。詳細については、「Dataphin データソーステーブル開発方法」をご参照ください。重要データソースコードは、設定が完了した後は変更できません。
データソースコードが正常に設定されると、アセットディレクトリとアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、SelectDB データソースのみがサポートされています。
データソースの説明
データソースの簡単な説明。128 文字以下にする必要があります。
データソース設定
設定するデータソースを選択します。
ビジネスデータソースが本番データソースと開発データソースを区別している場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースが本番データソースと開発データソースを区別していない場合は、[本番データソース] を選択します。
[タグ]
タグに基づいてデータソースを分類およびタグ付けできます。タグの作成方法については、「データソースタグを管理する」をご参照ください。
データソースと Dataphin 間の接続パラメーターを構成します。
データソース構成で [本番 + 開発データソース] を選択した場合、本番データソースと開発データソースの両方の接続情報を構成する必要があります。 [本番データソース] を選択した場合は、本番データソースの接続情報のみを構成する必要があります。 本番データソース 本番データソース
説明通常、本番データソースと開発データソースは異なるデータソースとして設定し、開発データソースと本番データソース間の環境分離を実現し、開発データソースが本番データソースに与える影響を軽減する必要があります。ただし、Dataphin では、同じパラメーター値を持つ同じデータソースとして設定することもサポートされています。
パラメーター
説明
[プロトコル]
FTP サーバーで使用されているプロトコルに基づいて、ファイル転送プロトコルを選択します。現在サポートされている転送プロトコルは次のとおりです。
FTP:ファイル転送プロトコル。双方向ファイル転送を制御するために使用され、アプリケーションでもあります。
SFTP:SSH ベースのセキュアファイル転送プロトコル。ファイル転送のための安全な暗号化方式を提供します。
FTPS:SSL/TLS に基づくファイル転送プロトコル。暗号化された FTP と同等です。
[ホスト]
FTP サーバーのアドレス。
[ポート]
FTP サーバーのポート。
[ユーザー名]
FTP サーバーへのアクセスに使用するユーザー名。
[認証タイプ]
[プロトコル] タイプが SFTP の場合、[パスワードを入力] と [キー ファイルをアップロード] の両方の認証方式がサポートされています。
プロトコル タイプが FTP または FTPS の場合、パスワードを入力 認証方式のみがサポートされています。
説明キーファイル認証方式では、アクセス認証のために SFTP 秘密鍵ファイルをアップロードする必要があり、PEM ファイルのアップロードのみがサポートされています。
[sslimplicit]
暗黙モード。プロトコル が FTPS に設定されている場合は、SSLImplicit パラメーターを設定する必要があります。FTP サーバーで SSLImplicit プロトコルが有効になっている場合は、[TRUE] を選択します。それ以外の場合は、[FALSE] を選択します。
[connectpattern]
接続モード。プロトコル が FTP または FTPS に設定されている場合は、connectPattern パラメーターを設定する必要があります。パラメーターには、次の 2 つのオプションがあります。
PORT(アクティブモード):クライアントがポートを開き、サーバーがデータ接続を確立するのを待ちます。
PASV(パッシブモード):サーバーがポートを開き、クライアントがデータ接続を確立するのを待ちます。
[デフォルトリソースグループ] を選択します。これは、データベース SQL、オフラインデータベース移行、データプレビューなど、現在のデータソースに関連するタスクを実行するために使用されます。
[接続テスト] を実行するか、[OK] をクリックして保存し、FTP データソースの作成を完了します。
[接続テスト] をクリックすると、システムはデータソースが Dataphin と正常に接続できるかどうかをテストします。[OK] を直接クリックすると、システムは選択したすべてのクラスターの接続を自動的にテストしますが、選択したすべてのクラスターの接続に失敗した場合でも、データソースは正常に作成されます。
[接続テスト] は、Dataphin に登録され、正常に使用されている [デフォルトクラスタ] または [登録済みスケジューリングクラスタ] の接続をテストします。[デフォルトクラスタ] はデフォルトで選択されており、選択解除できません。[登録済みスケジューリングクラスタ] にリソースグループがない場合、接続テストはサポートされていません。接続をテストする前に、まずリソースグループを作成する必要があります。
選択したクラスターは、現在のデータソースとのネットワーク接続をテストするためにのみ使用され、後で関連タスクを実行するために使用されるわけではありません。
接続テストは通常 2 分未満で完了します。タイムアウトした場合は、
アイコンをクリックして具体的な理由を確認し、再試行できます。
テスト結果が 接続失敗、接続成功、警告付きで成功 のいずれであっても、システムは最終結果の生成時刻を記録します。
説明デフォルトクラスター のテスト結果のみ、警告付きで成功、接続成功、接続失敗 の 3 つの接続ステータスが含まれます。Dataphin の 登録済みスケジューリングクラスター のテスト結果には、接続成功 と 接続失敗 の 2 つの接続ステータスのみが含まれます。
テスト結果が 接続失敗 の場合は、
アイコンをクリックして具体的な失敗理由を確認できます。
テスト結果が 警告付きで成功 の場合、アプリケーションクラスターの接続は成功したが、スケジューリングクラスターの接続は失敗したことを意味します。現在のデータソースは、データ開発と統合に使用できません。
アイコンをクリックしてログ情報を表示できます。