HBase データソースを作成することで、Dataphin で HBase からビジネスデータを読み取ったり、HBase にデータを書き込んだりすることができます。このトピックでは、HBase データソースを作成する方法について説明します。
前提条件
データソースにアクティブ/スタンバイリンクを構成するには、DataService Studio または Tag Service の高可用性機能を購入してアクティブ化する必要があります。
背景情報
HBase は、Hadoop クラスタに格納されている大量のデータを処理するために使用される SQL クエリエンジンです。 HBase を使用する場合は、Dataphin データを HBase にエクスポートする前に、HBase データソースを作成する必要があります。
権限要件
データソースの作成権限と、スーパー管理者、データソース管理者、ドメイン設計者、およびプロジェクト管理者 ロールを持つカスタム グローバル ロールのみが、データソースを作成できます。
制限事項
バージョン 0.9.4、1.1.x、および 2.x の HBase データソースのみを作成できます。
接続テスト中、システムは最初にアクティブリンクの接続性をチェックします。アクティブリンクがテストに合格すると、システムはスタンバイリンクの接続性をチェックします。アクティブリンクが接続テストに失敗した場合、システムはスタンバイリンクの接続性をチェックしません。
手順
Dataphin ホームページで、上部のナビゲーションバーの [管理センター] > [データソース管理] をクリックします。
[データソース] ページで、[+データソースの作成] をクリックします。
[データソースの作成] ページで、[NoSQL] セクションの [HBase] を選択します。
最近 HBase を使用したことがある場合は、[最近使用したデータソース] セクションで HBase を選択することもできます。検索ボックスにキーワードを入力して HBase をすばやく見つけることもできます。
[HBase データソースの作成] ページで、データソースへの接続パラメータを構成します。
データソースの基本情報を構成します。
パラメータ
説明
データソース名
データソースの名前を入力します。名前は次の要件を満たしている必要があります。
日本語、英字、数字、アンダースコア (_)、およびハイフン (-) のみを含めることができます。
長さは 64 文字を超えることはできません。
データソースコード
データソースコードを構成した後、
データソースコード.テーブル名またはデータソースコード.スキーマ.テーブル名の形式で、Flink_SQL タスクまたは Dataphin JDBC クライアントを使用して Dataphin データソーステーブルにアクセスして迅速に利用できます。タスク実行環境に基づいてデータソースを自動的に切り替える必要がある場合は、${データソースコード}.tableまたは${データソースコード}.schema.tableの変数形式を使用してアクセスします。詳細については、「Dataphin データソーステーブルの開発方法」をご参照ください。重要データソースコードは、正常に構成された後は変更できません。
データソースコードが正常に構成されると、アセットディレクトリとアセットインベントリのオブジェクト詳細ページでデータをプレビューできます。
Flink SQL では、現在、MySQL、Hologres、MaxCompute、Oracle、StarRocks、Hive、および SelectDB データソースのみがサポートされています。
バージョン
HBase 2.x データソース は、次のバージョンをサポートしています。
CDH5: 1.2.0.
CDP7.1.3: 2.2.3.
AsiaInfo DP5.x HBase 2.x.
EMR HBase 2.x.
説明HBase 0.9.4 および HBase 1.1.x はバージョン構成をサポートしていません。
データソースの説明
データソースの簡単な説明を入力します。説明は 128 文字を超えることはできません。
データソース構成
構成するデータソースを選択します。
ビジネスデータソースが本番データソースと開発データソースを区別する場合は、[本番 + 開発データソース] を選択します。
ビジネスデータソースが本番データソースと開発データソースを区別しない場合は、[本番データソース] を選択します。
アクティブ/スタンバイリンク
このパラメータは、[サービス高可用性] または [タグサービス高可用性] が有効になっている場合にのみ構成できます。オプションには、[アクティブリンクのみ] と [アクティブ/スタンバイリンク] が含まれます。
[アクティブリンクのみ]:1 つの HBase サービスのみを構成する必要があります。データソースのすべての読み取りおよび書き込み操作は、アクティブリンクを介して実行されます。このモードでは、アクティブリンクに障害が発生した場合、高可用性はサポートされません。
[アクティブ/スタンバイリンク]:2 つの HBase サービスを構成する必要があります。アクティブリンクに障害が発生した場合、スタンバイリンクが引き継いで正常に実行を継続できます。このモードは高可用性をサポートしています。
タグ
タグに基づいてデータソースを分類およびタグ付けできます。タグの作成方法については、「データソースタグの管理」をご参照ください。
データソースと Dataphin 間の接続パラメータを構成します。
データソース構成で [本番 + 開発データソース] を選択した場合は、[本番 + 開発データソース] の両方の接続情報を構成する必要があります。 [本番データソース] を選択した場合は、[本番データソース] の接続情報のみを構成する必要があります。
説明通常、本番データソースと開発データソースは別々のデータソースとして構成して、環境の分離を実現し、開発操作が本番に及ぼす影響を軽減する必要があります。ただし、Dataphin では、同じパラメータ値を使用して同じデータソースとして構成することもサポートされています。
パラメータ
説明
アクティブリンク
接続 URL
アクティブリンクの接続アドレスを入力します。形式は
hb-proxy-{host}-{port}.hbase.rds.aliyuncs.comです。名前空間
オプション。アクティブリンク HBase の名前空間を入力します。
構成ファイル
アクティブリンク HBase の hbase-site.xml 構成ファイルをアップロードします。
接続パラメータ
アクティブリンク HBase に接続するためのパラメータを JSON 形式で構成します。
Kerberos
Kerberos は、対称鍵テクノロジーに基づく身元認証プロトコルであり、他のサービスの認証を提供し、SSO(シングルサインオン。クライアント認証後、HBase や HDFS などの複数のサービスにアクセスできることを意味します)をサポートします。
Hadoop クラスタに Kerberos 認証がある場合は、[kerberos] を有効にする必要があります。
[kerberos] を有効にした後、次のパラメータを構成する必要があります。
Kerberos 構成方法: [KDC サーバー] および [krb5 ファイル構成] メソッドをサポートしています。
KDC サーバーアドレス:Kerberos 認証を支援するために KDC サーバーアドレスを構成します。
説明複数の KDC サーバーアドレスをカンマ
,で区切って構成できます。Krb5 ファイル構成:Kerberos 認証ドメイン名を含む Krb5 ファイルをアップロードする必要があります。
Keytab ファイル: Kerberos 認証用の Keytab ファイルをアップロードします。
プリンシパル: Kerberos 認証のプリンシパル名を構成します。
Hadoop クラスタに Kerberos 認証がない場合は、[kerberos] を有効にする必要はありません。
スタンバイリンク
スタンバイリンクは、本番データソースでアクティブ/スタンバイリンクモードで構成できます。アクティブリンク情報を構成した後、[アクティブリンク構成のコピー] をクリックしてすばやく構成できます。
接続アドレス
スタンバイの接続アドレスは
hb-proxy-{host}-{port}.hbase.rds.aliyuncs.comです。名前空間
オプション。スタンバイリンク HBase の名前空間を入力します。
構成ファイル
スタンバイリンク HBase の hbase-site.xml 構成ファイルをアップロードします。
接続パラメータ
スタンバイリンク HBase に接続するためのパラメータを JSON 形式で構成します。
Kerberos
システムはデフォルトで Kerberos 構成をアクティブリンクと一致させて維持し、変更はサポートしていません。アクティブリンクで Kerberos が有効になっている場合は、Keytab ファイルとプリンシパルをカスタマイズできます。
[デフォルトリソースグループ] を選択します。これは、データベース SQL、オフラインデータベース移行、データプレビューなど、現在のデータソースに関連するタスクを実行するために使用されます。
[接続テスト] をクリックするか、[OK] をクリックして保存し、HBase データソースの作成を完了します。
[接続テスト] をクリックして、データソースが Dataphin に正常に接続できるかどうかをテストします。[OK] を直接クリックすると、システムは選択したすべてのクラスタの接続を自動的にテストします。ただし、選択したすべてのクラスタが接続テストに失敗した場合でも、データソースは正常に作成されます。