Dataphin:付録: データ探索の一般的なシナリオ

コンピューティングエンジン

カテゴリ

異常の原因

解決策

Cloudera Data Platform 7.x

ノードエラー

エンジンのオプティマイザー機能が正しく機能していません。

set hive.optimize.shared.work = false;

AsiaInfo DP5.3

メモリ オーバーフロー

Map 側と Reduce 側の両方でメモリがオーバーフローします。

set mapreduce.map.memory.mb=10150;

set mapreduce.map.java.opts=-Xmx6144m;

set mapreduce.reduce.memory.mb=10150;

set mapreduce.reduce.java.opts=-Xmx8120m;

E-MapReduce 3.x、E-MapReduce 5.x、CDH 5.x、CDH 6.x、FusionInsight 8.x、Cloudera Data Platform 7.x、AsiaInfo DP5.3

実行速度が遅い

同時ジョブ実行数が少なすぎます。

set hive.exec.parallel=true;

set hive.exec.parallel.thread.number=16;