本文介紹如何調整Hive記憶體參數。
調整情境
隨著業務量攀升,當中繼資料操作引發的作業執行延時增加,並伴有HiveMetaStore服務異常,且監控指標提示記憶體不足(例如HiveMetaStore記憶體指標(GC相關)超過閾值),可嘗試將HiveMetaStore記憶體調大。如果HiveServer2也出現上述類似情境,可同時調整HiveServer2記憶體。
注意事項
如果叢集建立時使用資料湖(DLF)統一中繼資料,則叢集內部的HiveMetaStore服務處於未啟用狀態。關於不同中繼資料的更多資訊,請參見Hive中繼資料說明。
調整Hive記憶體參數
在叢集Hive組件頁面,單擊配置,輸入配置項名稱進行修改。
調整HiveMetaStore記憶體。
調整hive_metastore_heapsize(預設記憶體500 MiB),例如2048(代表2 GiB記憶體),可根據實際需要及機器記憶體,調整HiveMetastore記憶體大小。修改完成後,單擊儲存,然後在組件狀態頁面重啟HiveMetaStore,觀察HiveMetaStore狀態。
調整HiveServer2記憶體。
調整hive_server2_heapsize,例如2048(代表2 GiB記憶體),可根據實際需要及機器記憶體,調整HiveServer2記憶體大小。修改完成後,單擊儲存,然後在組件狀態頁面重啟HiveServer2,觀察HiveServer2狀態。