JindoTable によるテーブルアクセス頻度の分析 - E-MapReduce - Alibaba Cloud - E-MapReduce

JindoTable のアクセス頻度収集機能を使用すると、ホットデータとコールドデータを識別できます。これにより、全体的なストレージコストを削減し、キャッシュヒット率を向上させることができます。

データ収集

JindoTable は Hive テーブルのアクセスレコードを収集します。サポートされているエンジンは Spark と Hive です。収集されたデータは、クラスター上の SmartData サービスの名前空間に保存されます。

アクセスレコード収集はデフォルトで有効になっています。無効にするには、アクセスレコード収集の無効化をご参照ください。

アクセスデータのクエリ

JindoTable は、アクセス頻度データをクエリするためのコマンドを提供します。

構文
```
jindo table -accessStat <-d [days]> <-n [topNums]>
```
days と topNums は正の整数です。days が 1 に設定されている場合、コマンドは現在の日付 (ローカル時間) の 00:00 から現在時刻までのすべてのアクセスレコードをクエリします。
機能
指定された時間範囲内で最もアクセス頻度の高い上位 N 個のテーブルまたはパーティションを返します。
例：過去 7 日間で最もアクセス頻度の高い 20 個のテーブルまたはパーティションをクエリします。
```
jindo table -accessStat -d 7 -n 20
```

JindoTable の詳細については、「JindoTable の使用」をご参照ください。

アクセスレコード収集の無効化

上部のナビゲーションバーで、リージョンとリソースグループを選択します。
Clusters タブをクリックします。
Clusters ページで、対象クラスターの [操作] 列にある Details をクリックします。
パラメーター値を変更します。
次のパラメーター値から特定の内容を削除します：
- Hive サービスの場合：
  1. 左側のナビゲーションウィンドウで、Services > [Hive] をクリックします。
  2. Configure タブをクリックします。
  3. [hive-site] タブをクリックします。
  4. hive.exec.post.hooks パラメーターを検索し、その値から com.aliyun.emr.table.hive.HivePostHook を削除します。
- Spark サービスの場合：
  1. 左側のナビゲーションウィンドウで、Services > [Spark] をクリックします。
  2. Configure タブをクリックします。
  3. [spark-defaults] タブをクリックします。
  4. spark.sql.queryExecutionListeners パラメーターを検索し、その値から com.aliyun.emr.table.spark.SparkSQLQueryListener を削除します。
設定を保存します。
1. 右上隅にある Save をクリックします。
2. 変更する ダイアログボックスで、変更理由を入力し、[設定の自動更新] を選択します。
3. OK をクリックします。
サービスを再起動します。
- Hive サービスの場合：
  1. 右上隅で、操作 > [HiveServer2 の再起動] を選択します。
  2. [クラスターアクティビティ] ダイアログボックスで、パラメーターを設定します。
  3. OK をクリックします。
  4. Confirm確認ダイアログボックスで、OK をクリックします。
- Spark サービスの場合：
  1. 右上隅で、操作 > [ThriftServer の再起動] を選択します。
  2. [クラスターアクティビティ] ダイアログボックスで、パラメーターを設定します。
  3. OK をクリックします。
  4. Confirm確認ダイアログボックスで、OK をクリックします。