Dataphin:Flink 計算ソースの作成

操作手順

1. Dataphin ホームページのトップメニューバーで、[計画] > [計算ソース] を選択します。

2. [計算ソース] ページで、[計算ソースの追加] をクリックし、[Flink 計算ソース] を選択します。

3. [計算ソースの作成] ページで、パラメーターを設定します。

   1. 基本情報

      パラメーター	説明
      コンピュートタイプ	[Flink] を選択します。
      コンピュートソース名	計算ソースの名前を入力します。名前は次の要件を満たす必要があります： 中国語、英字、数字、アンダースコア (_)、ハイフン (-) を使用できます。 長さは 64 文字以内である必要があります。
      [計算ソースの説明]	計算ソースの説明を入力します。説明は 128 文字以内である必要があります。

   2. デプロイモードを選択し、そのパラメーターを設定

      Dataphin は、Yarn と Kubernetes の 2 つのデプロイモードをサポートしています。必須パラメーターは、選択したデプロイモードによって異なります。

      Yarn

      • クラスターの基本情報

        パラメーター	説明
        設定ファイル	クラスターの yarn-site.xml、core-site.xml、hdfs-site.xml 設定ファイルをアップロードします。
        クラスター Kerberos	Kerberos は、対称鍵暗号を使用してクライアント/サーバーアプリケーションを認証する認証プロトコルです。シングルサインオン (SSO) をサポートしており、認証されたクライアントは HBase や HDFS などの複数のサービスにアクセスできます。 ご利用のクラスターが Kerberos 認証を使用している場合は、このオプションを有効にし、Krb5 認証ファイルをアップロードするか、KDC サーバーアドレスを設定します。 [Krb5 認証ファイル]：Kerberos 認証のために Krb5 ファイルをアップロードする必要があります。 [KDC サーバーアドレス]：Kerberos 認証用の KDC サーバーのアドレス。コンマ (,) 区切りで複数のアドレスを指定できます。
        [クラスタータイプ] (オプション)	接続テストに使用するクラスターのタイプを選択します。サポートされているタイプには、Aliyun E-MapReduce 5.x、CDH 5.x Hadoop、CDH 6.x Hadoop、Cloudera Data Platform 7.x、AsiaInfo DP 5.3 Hadoop、Transwarp TDH 6.x Hadoop があります。 重要 クラスタータイプを指定しなくても接続テストは成功する可能性がありますが、接続の失敗を防ぐためにタイプを選択することを推奨します。

      • Flink 計算リソース

        パラメーター	説明
        コンピューティング リソースの種類	[リソースキュー] と [セッションクラスター] を選択できます。
        リソースキュー	計算リソースタイプとして [リソースキュー] を選択した場合は、Flink ジョブがサブミットされる YARN キューの名前を入力します。名前は次のルールに従う必要があります： 長さ：キュー名は 256 文字以内である必要があります。 文字制限：キュー名には、英字、数字、スペース、および次の特殊文字のみを含めることができます：-_.@'()。 大文字と小文字の区別：キュー名では大文字と小文字が区別されます。 一意性：キュー名は計算ソース内で一意である必要があります。 複数のタスクキューを設定する必要がある場合は、[+ 追加] をクリックします。 説明 最大 10 個のリソースキューを追加できます。 リソースキューを削除するには、 削除アイコンをクリックします。少なくとも 1 つのリソースキューを保持する必要があります。キューを削除すると、そのキューに依存する既存のジョブをサブミットできなくなります。
        セッション クラスター	計算リソースタイプとして [セッションクラスター] を選択した場合は、1 つ以上のセッションクラスターを選択します。ドロップダウンリストには、「セッションクラスター」で作成されたすべてのクラスターが、そのステータスに関係なく表示されます。

      • Flink Kerberos 認証

        説明

        計算リソースタイプとして [リソースキュー] を選択した場合にのみ、Flink Kerberos 認証を設定できます。

        • [Flink Kerberos]：Flink クラスターに Kerberos 認証がある場合は、Flink Kerberos を有効にし、Keytab ファイルをアップロードして、プリンシパルを設定できます。

          • [Keytab ファイル]：Keytab ファイルをアップロードします。Keytab ファイルは Flink サーバーで取得できます。

          • [プリンシパル]：Flink の Keytab ファイルに対応する Kerberos ユーザー名を入力します。

        • [ユーザー名]：[Flink Kerberos が無効] の場合、Flink ジョブのサブミットに使用するクラスターのユーザー名を入力します。

      • CheckPoint ストレージ

        [ファイルシステム]：[HDFS]、[OSS-HDFS]、および [Aliyun OSS] (Flink 1.14 および 1.15 のみでサポート) をサポートしています。ファイルシステムごとに必要なパラメーターが異なります。

        説明

        OSS-HDFS ファイルシステムは、Aliyun E-MapReduce 5.x Hadoop コンピュートエンジンでのみサポートされています。

        • ファイルシステムとして HDFS を選択した場合は、次のパラメーターを設定します：

          [ディレクトリパス]：Checkpoint ストレージのディレクトリパスを入力し、Flink がこのパスにアクセスできる権限を持っていることを確認してください。例：hdfs://cdh-cluster-00001:8020/openflink/savepoint/。ご利用の HDFS が高可用性 (HA) クラスターの場合は、hdfs://nameservice/path のような高可用性パスを指定できます。

        • ファイルシステムとして OSS-HDFS を選択した場合は、次のパラメーターを設定します：

          • [ディレクトリパス]：CheckPoint クラスターのストレージ用のディレクトリパスを入力し、Flink がこのパスにアクセスできる権限を持っていることを確認してください。例：hdfs://cdh-cluster-00001:8020/openflink/savepoint/。ご利用の HDFS が高可用性 (HA) クラスターの場合は、hdfs://nameservice/path の形式でパスを指定できます。

          • [AccessKey ID] と [AccessKey Secret]：クラスターの OSS にアクセスするために使用する AccessKey ID と AccessKey Secret を入力します。既存の AccessKey を使用できます。新しい AccessKey を作成するには、「AccessKey の作成」をご参照ください。

            説明

            AccessKey Secret の漏洩を防ぐため、AccessKey Secret は作成時にのみ表示され、取得することはできません。

        • ファイルシステムとして Aliyun OSS を選択した場合は、次のパラメーターを設定します：

          • [エンドポイント]：OSS サービスのエンドポイントを入力します。

          • [ディレクトリパス]：フォーマットは oss://{Bucket}/{Object} です。

          • [AccessKey ID] と [AccessKey Secret]：クラスターの OSS にアクセスするための AccessKey ID と AccessKey Secret を入力します。既存の AccessKey ペアを使用するか、新しいペアを作成できます。詳細については、「AccessKey の作成」をご参照ください。

            説明

            AccessKey Secret の漏洩を防ぐため、AccessKey Secret は作成時にのみ表示され、取得することはできません。

        重要

        ここで設定した AccessKey 認証情報は、core-site.xml ファイルで設定された認証情報をオーバーライドします。

      Kubernetes

      • クラスターの基本情報

        Kubernetes デプロイモードでは、クラスターの基本情報は不要です。

      • Flink コンピュートエンジンの設定

        Kubernetes デプロイモードでは、次のいずれかのファイルシステムを選択できます：NFS、S3、または Azure Blob Storage。必要なパラメーターは、選択したファイルシステムによって異なります。

        NFS

        パラメーター	説明
        サーバー	NFS サーバーのドメイン名を入力します。
        [バージョン]	NFS のバージョンを選択します。サポートされているバージョンは NFSv3 と NFSv4 です。
        コンテンツ	NFS 上の CheckPoint のストレージディレクトリパスを入力します。例：/data/checkpoint。
        [最大容量]	NFS の最大ストレージ容量を GiB 単位で入力します。この制限を超えると、CheckPoint ストレージが中断されます。

        S3

        パラメーター	説明
        エンドポイント（オプション）	正しいアドレスを入力します。例： http://s3.us-east-2.amazonaws.com。 説明 このフィールドは Amazon S3 の場合、オプションですが、その他のすべての S3 互換サービスでは必須です。
        ディレクトリパス	ストレージパスを入力します。デフォルトのパスは s3://{YOUR-BUCKET}/{path} です。チェックポイントの保存には専用のディレクトリを使用し、定期的にクリーンアップすることを推奨します。
        Access Key、Secret Key	S3 互換ストレージへのアクセスに使用する AccessKey ID および AccessKey Secret を入力します。 アイコンをクリックすると、プレーンテキストで表示されます。

        Azure Blob Storage

        パラメーター	説明
        プロトコル	現在、ABFS のみがサポートされています。
        [認証方法]	現在、共有キーのみがサポートされています。
        ディレクトリ パス	ストレージパスを入力します。デフォルトは abfs://{YOUR-CONTAINER}@${YOUR-AZURE-ACCOUNT}.dfs.core.windows.net/{object-path} です。
        [アクセスキー]	Azure Blob Storage アカウントのアクセスキーを入力します。 アイコンをクリックすると、プレーンテキストが表示されます。

4. [接続テスト] をクリックして、Dataphin とクラスター間の接続性をテストします。

   Kubernetes デプロイモードは接続テストをサポートしていないため、直接 [送信] をクリックできます。

5. テストが成功したら、[送信] をクリックします。