E-MapReduce:HBase-HDFS

HBase-HDFS

HDFS は、信頼性の高い分散ファイルストレージを提供する Hadoop エコシステムのコアコンポーネントです。HBase-HDFS サービスは、基盤となるデータストレージソリューションとして HDFS を使用し、基本アーキテクチャを変更することなく HDFS のすべてのネイティブな特徴を継承します。HDFS の詳細については、「HDFS の概要」をご参照ください。

HBase-HDFS サービスは、次の場合に自動的にデプロイされます。

• クラスターの作成

  • コンソールでクラスターを作成: OSS-HDFS および HBase サービスと [HBase Log Storage] チェックボックスを選択した場合、クラスターの作成後に HBase-HDFS サービスが自動的にデプロイされます。

    

  • OpenAPI を使用してクラスターを作成: CreateCluster または RunCluster 操作を呼び出してクラスターを作成し、必要な構成を Application および ApplicationConfig パラメーターに追加します。

    次のコードは、構成の例を示しています。必要に応じてパラメーターを設定してください。

    Application = ["HBASE", "OSS-HDFS", "HBASE-HDFS"]
    
    ApplicationConfigs = [
        {
            "ConfigFileName": "hbase-site.xml",
            "ApplicationName": "HBASE",
            "ConfigItemKey": "hbase.wal.mode",
            "ConfigScope": "CLUSTER",
            "ConfigItemValue": "HDFS"
        },
        {
            "ConfigFileName": "common.conf",
            "ApplicationName": "OSS-HDFS",
            "ConfigItemKey": "OSS_ROOT_URI",
            "ConfigScope": "CLUSTER",
            "ConfigItemValue": "oss://examplebucket.oss-cn-hangzhou-internal.aliyuncs.com/"
        },
        {
            "ConfigFileName": "hdfs-site.xml",
            "ApplicationName": "HBASE-HDFS",
            "ConfigItemKey": "dfs.balancer.block-move.timeout",
            "ConfigScope": "CLUSTER",
            "ConfigItemValue": "600000"
        }
    ]

• サービスの追加

  OSS-HDFS サービスでクラスターを作成し、後で HBase サービスを追加した場合、HBase-HDFS サービスも自動的にデプロイされます。

参考情報

• サービスコンポーネントのデプロイメント情報を表示する方法の詳細については、「サービスコンポーネントのデプロイメント情報を表示する」をご参照ください。

• HBase-HDFS DataNode を非公開にする方法の詳細については、「ノードグループのスケールイン」をご参照ください。