Dataphin では、ArgoDB をオフラインコンピューティングエンジンとして使用して、オフラインコンピューティングタスクを処理できます。本トピックでは、ArgoDB コンピューティングソースを作成する方法について説明します。
前提条件
TDH Inceptor メタデータウェアハウスコンピューティングエンジンを初期化して、コンピューティングエンジンを TDH Inceptor に設定しておく必要があります。詳細については、「TDH をメタデータウェアハウスコンピューティングエンジンとして使用してメタデータウェアハウスを初期化する」および「Dataphin インスタンスのコンピューティングエンジンを TDH または ArgoDB に設定する」をご参照ください。
ArgoDB コンピューティングソースの作成には、TDH Inceptor メタデータウェアハウスコンピューティングエンジンが必要です。その他のタイプのメタデータウェアハウスコンピューティングエンジンはサポートされていません。
背景情報
ArgoDB は、Transwarp が開発した分散型分析データベースで、Hadoop と超並列処理 (MPP) のハイブリッドアーキテクチャを置き換えることができます。標準 SQL を使用してワークロードを構築でき、マルチモデルデータ分析、リアルタイムデータ処理、ストレージとコンピューティングモジュールの分離、異種サーバーでのハイブリッド展開などの高度な機能を提供します。詳細については、ArgoDB 公式ウェブサイトをご参照ください。
制限事項
[MySQL Metadatabase]、[ArgoDB System Library]、または [HMS] を使用してメタデータを取得する場合、一部の情報が利用できなくなったり、不正確になったりする可能性があります。
[Metadata Acquisition Method] が [MySQL Metadatabase] または [HMS] に設定されている場合:
アセットパノラマ、データポータル、プロジェクトのデータ量は利用できません。
アセットカタログのテーブルデータ量、パーティションデータ量、パーティションレコード数は利用できません。
リソース管理におけるストレージ関連のメトリクスは不正確になります。
メタデータウェアハウス共有モデルの
dim_dataphin_tableおよびdim_dataphin_partitionのデータ量とレコード数は利用できません。
[Metadata Acquisition Method] が [ArgoDB System Library] に設定されている場合:
アセットカタログのパーティションレコード数は利用できません。
アセットカタログの holodesk テーブルのデータ量およびパーティションデータ量は利用できません。
メタデータウェアハウス共有モデルの
dim_dataphin_tableおよびdim_dataphin_partitionのレコード数、および holodesk 形式テーブルのデータ量は利用できません。
[HDFS] 接続で [Non-Kerberos Authentication] を使用し、[ArgoDB] 設定で [Non-LDAP Authentication] を使用する場合、予期せぬ問題が発生する可能性があります。これらのオプションを有効にする前に、Dataphin 運用・展開チームにお問い合わせください。
その他の制限事項は以下のとおりです。
ArgoDB をコンピューティングソースとして使用する場合、Dataphin はテーブル管理をサポートしていません。
ソルト付きハッシュマスキングアルゴリズム (ソルト付き SHA256、ソルト付き SHA384、ソルト付き SHA512、ソルト付き MD5 を含む) およびガウスノイズ (GaussianNoise) マスキングアルゴリズムはサポートされていません。
Oracle、IBM DB2、Teradata などの SQL 方言はサポートされていません。Oracle および DB2 ストアドプロシージャもサポートされていません。SQL 実行時にエラーが発生する可能性があります。
範囲パーティションテーブルは、データクエリ言語 (DQL) ステートメントと、一部のデータ定義言語 (DDL) およびデータ操作言語 (DML) ステートメントのみをサポートしています。
操作手順
Dataphin ホームページで、[Plan] をクリックします。
左側のナビゲーションペインで、[プロジェクト] > [コンピューティングソース] を選択します。
[コンピューティングソース] ページで、[+ 新規コンピューティングソース] をクリックし、ドロップダウンリストから [ArgoDB コンピューティングソース] を選択します。
[コンピューティングソースの作成] ページで、パラメーターを設定します。
a. 基本情報を設定します。
パラメーター
説明
[Compute Source Type]
[ArgoDB] を選択します。
[Compute Source Name]
命名規則は以下のとおりです。
中国語、英字、数字、アンダースコア (_)、ハイフン (-) のみ使用できます。
64 文字以内にする必要があります。
[Compute Source Description]
コンピューティングソースの簡単な説明。
b. 基本クラスター情報を設定します。
パラメーター
説明
[namenode]
このフィールドには、コンピューティング設定の NameNode パラメーター値があらかじめ入力されており、変更できません。
[core-site.xml]、[hdfs-site.xml]、[hive-site.xml]、[yarn-site.xml]、[Other Configuration Files]
HDFS 設定ファイル
core-site.xmlおよびhdfs-site.xml、Hive 設定ファイルhive-site.xml、yarn-site.xmlファイルをアップロードします。その他の設定ファイルがある場合は、該当するセクションでアップロードしてください。
[Authentication Method]
ArgoDB クラスターで Kerberos 認証を使用している場合は、Kerberos を選択する必要があります。Kerberos は、対称鍵暗号に基づく認証プロトコルであり、他のサービスに ID 検証を提供し、シングルサインオン (SSO) をサポートします。SSO により、クライアントは 1 回の認証後、HBase や HDFS などの複数のサービスにアクセスできます。
Kerberos 認証を選択した場合は、krb5 ファイルをアップロードするか、KDC サーバーアドレスを指定する必要があります。
[Krb5 File Configuration]:Kerberos 認証用の krb5 ファイルをアップロードします。
[KDC Server Address]:Kerberos 認証を支援する Key Distribution Center (KDC) サーバーのアドレスです。複数の KDC サーバーアドレスをカンマ (,) で区切って指定できます。
c. [HDFS Connection Information] セクションでパラメーターを設定します。
パラメーター
説明
[Execution Username]、[Password]
MapReduce タスクを実行し、HDFS への読み取りまたは書き込みを行うために、実行マシンにログインするためのユーザー名とパスワードです。
重要指定したユーザーが MapReduce タスクを送信するために必要な権限を持っていることを確認してください。
[Authentication Method]
HDFS で Kerberos 認証を使用している場合は、Kerberos を選択します。Kerberos は、対称鍵暗号に基づく認証プロトコルであり、他のサービスに ID 検証を提供し、SSO をサポートします。SSO により、クライアントは 1 回の認証後、HBase や HDFS などの複数のサービスにアクセスできます。
Kerberos 認証を選択した場合は、keytab ファイルをアップロードして、プリンシパルを設定する必要があります。
[Keytab File]:Kerberos 認証用の keytab ファイルをアップロードします。
[Principal]:Kerberos プリンシパル名。
認証なしを選択した場合は、HDFS にアクセスするためのユーザー名を指定する必要があります。
d. [ArgoDB Configuration] セクションでパラメーターを設定します。
パラメーター
説明
[JDBC URL]
Hive サーバーの JDBC 接続アドレスを
jdbc:hive2://InceptorServerIP:Port/Databaseの形式で設定します。[Authentication Method]
ArgoDB 設定に基づいて、ArgoDB の認証方法を選択します。サポートされているオプションは、[No Authentication]、[LDAP]、[Kerberos] です。
[No Authentication]:認証は不要です。
[LDAP]:アクセス用のユーザー名とパスワードを入力します。
[Kerberos]:Kerberos 認証ファイルをアップロードし、プリンシパルを入力します。
[Execution User for Development Tasks]
選択した認証方法に基づいて、開発タスク用にユーザー名とパスワードを設定するか、Kerberos 認証ファイルをアップロードしてプリンシパルを入力します。
[Execution User for Periodically Scheduled Tasks]
選択した認証方法に基づいて、定期実行タスク用にユーザー名とパスワードを設定するか、Kerberos 認証ファイルをアップロードしてプリンシパルを入力します。
[Priority Task Queue]
優先タスクを実行するユーザーの指定方法を選択します。[Use Default Execution User] または [Custom] を選択できます。
[Custom] を選択した場合は、優先度の異なるタスクに対して異なるユーザー名を設定する必要があります。
説明優先キューは、Hadoop クラスター上に異なる YARN キューを作成することでリソースを割り当てます。タスクの優先度レベルに基づいて、対応する YARN キューに送信されます。
e. ArgoDB メタデータ接続情報を設定します。
パラメーター
説明
[Metadata Acquisition Method]
メタデータは、メタデータベースまたは Hive Metastore (HMS) から取得できます。HMS を使用するには、まず
hdfs-site.xml、hive-site.xml、およびcore-site.xmlファイルをアップロードし、クラスター設定セクションで認証方法を設定する必要があります。[Database Type]
ArgoDB のメタデータベースタイプを選択します。現在、ArgoDB がサポートされています。
[JDBC URL]
対応するメタデータデータベースの接続アドレスを
jdbc:postgresql://{host}:{port}/{database name}の形式で入力してください。[Username]、[Password]
メタデータベースにログインするためのユーザー名とパスワードを入力します。
説明指定したアカウントが、タスクが期待どおりに実行されるようにするために必要なデータ権限を持っていることを確認してください。
[Test Connection] をクリックします。
接続テストが成功したら、[Submit] をクリックします。
次のステップ
ArgoDB コンピューティングソースを作成した後、プロジェクトにバインドできます。詳細については、「汎用プロジェクトの作成」をご参照ください。