すべてのプロダクト
Search

このプロダクト

    Dataphin:Kafka データソースを作成する

    ドキュメントセンター

    Dataphin:Kafka データソースを作成する

    最終更新日:May 29, 2025

    Kafka データソースを作成すると、Dataphin は Kafka からビジネスデータを読み取ったり、Kafka にデータを書き込んだりできるようになります。 このトピックでは、Kafka データソースを作成する方法について説明します。

    背景情報

    Kafka は、リアルタイム データを処理するために使用されるメッセージキューです。 Dataphin は、Kafka 0.9、Kafka 0.10、および Kafka 0.11 をサポートしています。 Kafka を使用する場合は、Dataphin でデータを開発したり、Dataphin から Kafka にデータをエクスポートしたりする前に、Kafka データソースを作成する必要があります。 さまざまな Kafka バージョンの機能の詳細については、以下の公式ドキュメントを参照してください。

    権限

    Dataphin では、データソースの作成 権限を持つカスタム ロールと、スーパー管理者、データソース管理者、ドメイン設計者、および プロジェクト管理者 ロールのみがデータソースを作成できます。

    手順

    1. Dataphin ホームページの上部ナビゲーションバーで、[管理センター] > [データソース管理] を選択します。

    2. [データソース] ページで、[+データソースの作成] をクリックします。

    3. [データソースの作成] ページで、[メッセージキュー] セクションの [Kafka] を選択します。

      最近 Kafka を使用したことがある場合は、[最近使用した] セクションで Kafka を選択することもできます。 また、検索ボックスにキーワードを入力して、Kafka をすばやく検索することもできます。

    4. [Kafka データソースの作成] ページで、データソースに接続するためのパラメーターを構成します。

      1. データソースの基本情報を構成します。

        パラメーター

        説明

        [データソース名]

        名前は次の要件を満たしている必要があります。

        • 名前には、漢字、英字、数字、アンダースコア (_)、およびハイフン (-) のみを含めることができます。

        • 名前は 64 文字を超えることはできません。

        [データソースコード]

        データソースコードを構成した後、データソースコード.テーブル名 または データソースコード.スキーマ.テーブル名 形式を使用して、Flink_SQL タスクでデータソース内のテーブルを参照できます。 現在の環境に基づいて対応する環境のデータソースに自動的にアクセスする必要がある場合は、変数形式 ${データソースコード}.table または ${データソースコード}.schema.table を使用できます。 詳細については、「Dataphin データソーステーブル開発方法」をご参照ください。

        重要

        • データソースコードは、正常に構成された後は変更できません。

        • データソースコードが正常に構成されると、アセットディレクトリとアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。

        • Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、および SelectDB データソースのみがサポートされています。

        [データソースの説明]

        データソースの簡単な説明。 説明は 128 文字を超えることはできません。

        [データソース構成]

        構成するデータソースを選択します。

        • ビジネスデータソースが本番データソースと開発データソースを区別する場合は、[本番 + 開発データソース] を選択します。

        • ビジネスデータソースが本番データソースと開発データソースを区別しない場合は、[本番データソース] を選択します。

        タグ

        タグを追加することで、データソースを分類できます。 タグの作成方法については、「データソースタグの管理」をご参照ください。

      2. データソースを Dataphin に接続するためのパラメーターを構成します。

        データソース構成で [本番 + 開発データソース] を選択した場合は、[本番 + 開発データソース] の接続情報を構成する必要があります。 データソース構成が [本番データソース] の場合は、[本番データソース] の接続情報のみを構成する必要があります。

        説明

        ほとんどの場合、開発環境を本番環境から分離し、開発データソースが本番データソースに与える影響を軽減するために、本番データソースと開発データソースは異なるデータソースとして構成する必要があります。 ただし、Dataphin では、同じデータソースとして構成することもサポートしています。つまり、同じパラメーター値を使用します。

        パラメーター

        説明

        [接続 URL]

        Kafka クラスタのエンドポイント。 host:port 形式を使用します。 複数のノードのアドレスを構成する必要がある場合は、コンマ (,) で区切ります。

        Dataphin は、Kafka 0.9、Kafka 0.10、および Kafka 0.11 をサポートしています。 さまざまな Kafka バージョンのエンドポイントの構成方法については、以下の公式ドキュメントを参照してください。

        [認証タイプ]

        [認証なし]、[Kerberos]、[ユーザー名 + パスワード] の 3 つの認証タイプがサポートされています。

        • 認証なし: Kafka クラスターで認証を使用しない場合は、このオプションを選択できます。

        • [Kerberos]: Kerberos は、対称鍵テクノロジーに基づく身元認証プロトコルであり、一般的にクラスタコンポーネント間の認証に使用されます。 Kerberos を有効にすることで、クラスタのセキュリティを強化できます。 Kerberos 認証を選択した場合は、次のパラメーターを構成する必要があります。

          • [krb5 ファイル]：Kerberos の Krb5 構成ファイルをアップロードします。

          • [keytab ファイル]：ユーザー認証用の Keytab ファイルをアップロードします。

          • [プリンシパル]：Kerberos 認証のプリンシパル名を入力します。例：XXXX/hadoopclient@xxx.xxx。

          • [Jaas ファイル]: jaas ファイルに Krb5 ファイル、Keytab ファイル、およびプリンシパルパラメーターのみが含まれている場合は、プリンシパルのみを入力することを選択できます。 jaas ファイルに Krb5 ファイル、Keytab ファイル、およびプリンシパル以外のパラメーターが含まれている場合は、jaas ファイルをアップロードする必要があります。

        • [ユーザー名 + パスワード]: ユーザー名 + パスワード認証の場合は、次のパラメーターを構成する必要があります。

          • [暗号化方式]: [PLAIN]、[SCRAM-SHA-256]、または [SCRAM-SHA-512] を選択できます。

            説明

            暗号化方式として SCRAM-SHA-256 または SCRAM-SHA-512 を選択した場合、SSL 暗号化はサポートされず、データソースはオフライン統合にのみ使用できます。

          • [ユーザー名、パスワード]: Kafka クラスタに接続するためのユーザー名とパスワードを入力します。

        [SSL 暗号化]

        SSL を使用して Dataphin と Kafka 間のデータ転送を暗号化する必要がある場合は、SSL 暗号化を有効にできます。 SSL 暗号化を有効にするには、次のパラメーターを構成する必要があります。

        説明

        [Kerberos 認証] および暗号化方式として [SCRAM-SHA-256] または [SCRAM-SHA-512] を使用する [ユーザー名 + パスワード認証] では、SSL 暗号化はサポートされていません。

        • トラストストア証明書: SSL 暗号化に使用されるトラストストア証明書。

        • [トラストストア証明書のパスワード]: トラストストア証明書のパスワード。

        • [ホスト名エンドポイント識別アルゴリズム]: 必須ではありません。 サーバー証明書でサーバーホスト名を検証するために使用されるエンドポイント識別アルゴリズム。 このパラメーターが指定されていない場合、ホスト名検証はデフォルトで無効になります。 たとえば、HTTPS などです。

        • [SSL 相互認証]: Dataphin と Kafka 間の SSL 相互認証。 金融取引や機密データの転送など、通信の厳密な制御と検証が必要なシナリオで一般的に使用されます。 SSL 相互認証を有効にするには、キーストア証明書をアップロードし、キーストア証明書のパスワードとキーストア秘密鍵のパスワードを入力する必要があります。

        [スキーマレジストリ]

        スキーマレジストリは、Confluent Kafka でサポートされている機能です。 Confluent Kafka でスキーマレジストリが有効になっている場合は、このオプションを選択して有効にします。

    5. [デフォルトのリソースグループ] を選択します。 このリソースグループは、データベース SQL、オフラインデータベース移行、データプレビューなど、現在のデータソースに関連するタスクを実行するために使用されます。

    6. [接続テスト] をクリックするか、[OK] を直接クリックして、Kafka データソースの作成を保存して完了します。

      [接続テスト] をクリックすると、システムはデータソースが Dataphin に正常に接続できるかどうかをテストします。 [OK] を直接クリックすると、システムは選択したすべてのクラスタの接続を自動的にテストします。 ただし、選択したすべてのクラスタの接続テストが失敗した場合でも、データソースは正常に作成されます。

      [接続テスト] は、[デフォルトクラスタ]、または Dataphin に登録されていて正常に使用されている登録済みスケジューリングクラスタの接続をテストします。 [デフォルトクラスタ] はデフォルトで選択されており、選択解除できません。 登録済みスケジューリングクラスタにリソースグループがない場合、接続テストはサポートされていません。 接続をテストする前に、まずリソースグループを作成する必要があります。

      • 選択したクラスタは、現在のデータソースとのネットワーク接続をテストするためにのみ使用され、後で関連タスクを実行するために使用されるわけではありません。

      • 接続テストは通常 2 分未満で完了します。 タイムアウトした場合は、image アイコンをクリックして具体的な理由を確認し、再試行できます。

      • テスト結果が [接続失敗]、[接続成功]、または [警告付きで成功] のいずれであっても、システムは最終結果の生成時間を記録します。

        説明

        [デフォルトクラスタ] のテスト結果のみ、[警告付きで成功]、[接続成功]、[接続失敗] の 3 つの接続ステータスが含まれます。 Dataphin の登録済みスケジューリングクラスタのテスト結果には、[接続成功] と [接続失敗] の 2 つの接続ステータスのみが含まれます。

      • テスト結果が [接続失敗] の場合は、image アイコンをクリックして具体的な失敗理由を確認できます。

      • テスト結果が [警告付きで成功] の場合は、アプリケーションクラスタの接続は成功したが、スケジューリングクラスタの接続は失敗したことを意味します。 現在のデータソースは、データ開発と統合に使用できません。 image アイコンをクリックしてログ情報を表示できます。