E-MapReduce:HDFS を使用したホットデータとコールドデータの分離

前提条件

開始する前に、以下の条件を満たしていることを確認してください。

• EMR V5.5.0 以降の ClickHouse クラスター。詳細については、「ClickHouse クラスターの作成」をご参照ください。

• ClickHouse クラスターと同じ仮想プライベートクラウド (VPC) 内にデプロイされた HDFS サービス（例：EMR Hadoop クラスター内の HDFS サービス）

• HDFS サービスに対する読み取りおよび書き込み権限

制限事項

HDFS を使用したホット／コールドデータ分離は、EMR V5.5.0 以降の ClickHouse クラスターでのみサポートされます。

基本概念

ストレージ階層の理解は、以降の手順で示される構成コードを正しく読み取るうえで重要です。

本ガイドでは、HDFS ディスクを定義し、ローカルディスクを local ボリュームとしてグループ化し、HDFS ディスクを remote ボリュームとしてグループ化した後、指定された期間経過後にデータを local から remote へ移動する TTL ルールを適用します。

ステップ 1：EMR コンソールで HDFS ディスクを追加

1. ClickHouse サービスの [構成] タブに移動します。

   1. EMR コンソールにログインします。EMR コンソール の左側のナビゲーションウィンドウで、[EMR On ECS] をクリックします。

   2. 上部のナビゲーションバーで、クラスターが配置されているリージョンを選択し、リソースグループを選択します。

   3. [EMR on ECS] ページで、対象のクラスターを見つけ、[操作] 列の [サービス] をクリックします。

   4. [サービス] タブで、ClickHouse セクションの [構成] をクリックします。

2. [server-metrika] タブをクリックします。

3. storage_configuration パラメーターを更新します。

   1. disks 内に HDFS ディスクのエントリを追加します：

      <disk_hdfs>
          <type>hdfs</type>
          <endpoint>hdfs://${your-hdfs-url}</endpoint>
          <min_bytes_for_seek>1048576</min_bytes_for_seek>
          <thread_pool_size>16</thread_pool_size>
          <objects_chunk_size_to_delete>1000</objects_chunk_size_to_delete>
      </disk_hdfs>

      パラメーター	必須	説明
      disk_hdfs	はい	ディスクの名前。必要に応じてカスタマイズ可能です。
      type	はい	ディスクタイプ。必ず hdfs を指定してください。
      endpoint	はい	HDFS サービスのエンドポイント（通常は NameNode のアドレス）。NameNode が高可用性 (HA) モードで実行されている場合、ポート番号は通常 8020 です。それ以外の場合は 9000 です。
      min_bytes_for_seek	いいえ	最小の正のシークオフセット。実際のオフセットがこの値より小さい場合、ClickHouse はシークではなく逐次読み取りを行います。デフォルト値：1048576。
      thread_pool_size	いいえ	このディスク上で復元要求を処理するために使用されるスレッド数。デフォルト値：16。
      objects_chunk_size_to_delete	いいえ	単一のバッチで削除される HDFS ファイルの最大数。デフォルト値：1000。

   2. policies 内に、ローカルディスクを local ボリュームに、HDFS ディスクを remote ボリュームにマッピングするストレージポリシーを追加します：

      <hdfs_ttl>
          <volumes>
            <local>
              <!-- 現在デフォルトストレージポリシーを使用しているすべてのディスクを追加します。 -->
              <disk>disk1</disk>
              <disk>disk2</disk>
              <disk>disk3</disk>
              <disk>disk4</disk>
            </local>
            <remote>
              <disk>disk_hdfs</disk>
            </remote>
          </volumes>
          <move_factor>0.2</move_factor>
      </hdfs_ttl>

      説明

      既存のデフォルトストレージポリシーにこのポリシーを追加することもでき、新規に作成する必要はありません。

4. 構成を保存します。

   1. [保存] をクリックします。

   2. ダイアログボックスで実行理由を入力し、[構成の保存と配信] を有効化して、[保存] をクリックします。

5. クライアント構成をデプロイします。

   1. [構成] タブで、[クライアント構成のデプロイ] をクリックします。

   2. ダイアログボックスで実行理由を入力し、[OK] をクリックします。

   3. [確認] ダイアログボックスで、[OK] をクリックします。

ステップ 2：構成の検証

SSH 経由で ClickHouse クラスターにログインします。詳細については、「クラスターへのログイン」をご参照ください。

1. ClickHouse クライアントを起動します：

   clickhouse-client -h core-1-1 -m

   説明

   core-1-1 は、ログインしたコアノードの名前に置き換えてください。クラスターに複数のコアノードがある場合は、いずれか 1 つを選択できます。

2. HDFS ディスクが system.disks に表示されることを確認します：

   SELECT * FROM system.disks;

   出力結果に、name が disk_hdfs で、type が hdfs である行が含まれている場合、構成は正しく設定されています：

   ┌─name─────┬─path─────────────────────────────────┬───────────free_space─┬──────────total_space─┬─keep_free_space─┬─type──┐
   │ default  │ /var/lib/clickhouse/                 │          83868921856 │          84014424064 │               0 │ local │
   │ disk1    │ /mnt/disk1/clickhouse/               │          83858436096 │          84003938304 │        10485760 │ local │
   │ disk2    │ /mnt/disk2/clickhouse/               │          83928215552 │          84003938304 │        10485760 │ local │
   │ disk3    │ /mnt/disk3/clickhouse/               │          83928301568 │          84003938304 │        10485760 │ local │
   │ disk4    │ /mnt/disk4/clickhouse/               │          83928301568 │          84003938304 │        10485760 │ local │
   │ disk_hdfs│ /var/lib/clickhouse/disks/disk_hdfs/ │ 18446744073709551615 │ 18446744073709551615 │               0 │ hdfs  │
   └──────────┴──────────────────────────────────────┴──────────────────────┴──────────────────────┴─────────────────┴───────┘

3. hdfs_ttl ストレージポリシーが system.storage_policies に表示されることを確認します：

   SELECT * FROM system.storage_policies;

   出力結果に、hdfs_ttl に関する 2 行（local ボリューム用と remote ボリューム用）が含まれている場合、構成は正しく設定されています：

   ┌─policy_name──┬─volume_name─┬─volume_priority─┬─disks──────────────────────────────┬─volume_type─┬─max_data_part_size─┬─move_factor─┬─prefer_not_to_merge─┐
   │ default      │ single      │               1 │ ['disk1','disk2','disk3','disk4']   │ JBOD        │                  0 │           0 │                   0 │
   │ hdfs_ttl     │ local       │               1 │ ['disk1','disk2','disk3','disk4']   │ JBOD        │                  0 │         0.2 │                   0 │
   │ hdfs_ttl     │ remote      │               2 │ ['disk_hdfs']                       │ JBOD        │                  0 │         0.2 │                   0 │
   └──────────────┴─────────────┴─────────────────┴────────────────────────────────────┴─────────────┴────────────────────┴─────────────┴─────────────────────┘

ステップ 3：テーブルへのホット／コールド分離の適用

既存のテーブルを対象とするか、新規テーブルを作成するかに応じて、以下のいずれかの方法を選択してください。

CREATE TABLE <yourDataName>.<yourTableName> [ON CLUSTER cluster_emr]
(
  column1 Type1,
  column2 Type2,
  ...
)
ENGINE = MergeTree()  -- Replicated*MergeTree 型もサポートされます。
PARTITION BY <yourPartitionKey>
ORDER BY <yourPartitionKey>
TTL <yourTtlKey> TO VOLUME 'remote'
SETTINGS storage_policy = 'hdfs_ttl';

CREATE TABLE test.test
(
    `id`  UInt32,
    `t`   DateTime
)
ENGINE = MergeTree()
PARTITION BY toStartOfFiveMinute(t)
ORDER BY id
TTL toStartOfMinute(addMinutes(t, 5)) TO VOLUME 'remote'
SETTINGS storage_policy = 'hdfs_ttl';

追加パラメーター

以下のオプションパラメーターにより、レプリケーション動作をさらに細かく制御できます。

サーバー設定

merge_tree.allow_remote_fs_zero_copy_replication：Replicated\*MergeTree エンジン向けのゼロコピー・レプリケーションを有効にするには、true を設定します。ClickHouse は、HDFS ディスクを指すメタデータをレプリケートし、ClickHouse クラスター内で同一シャードに対して複数のメタデータレプリカを生成します。

[server-users]

profile.${your-profile-name}.hdfs_replication：HDFS へ書き込まれるデータレプリカの数を制御します。