分散 DAG による大数据タスク処理のためのコンピューティングフレームワーク Tez - EMR - Alibaba Cloud - E-MapReduce

Tez は Apache Hadoop 上に構築されたコンピューティングフレームワークで、分散型の有向非循環グラフ（DAG）をサポートします。Tez では、複雑な DAG を使用してビッグデータタスクを記述および処理できます。

背景情報

Tez は Apache Hive で使用されます。Tez は Hive のランタイムエンジンとして機能し、Hive SQL のクエリエンジンを最適化できます。Hive on Tez は、Hive on MapReduce と比べてクエリ性能と安定性に優れています。

次の図は、Hive が MapReduce および Tez をベースにタスクを送信する方法を示しています。 Hive-MapReduce-Tez

Tez の詳細については、「Apache TEZ」をご参照ください。

Tez エンジンを手動で有効にする手順は以下のとおりです。

ご利用のクラスターのサービスページに移動します。
1. E-MapReduce on ECS コンソールにログインします。
2. 上部のナビゲーションバーで、必要に応じてリージョンおよびリソースグループを選択します。
3. 「[E-MapReduce on ECS]」ページで、対象のクラスターを見つけ、操作列のServicesをクリックします。
[Services] ページで、Hive セクションの [Configure] をクリックします。
構成を変更して保存します。
1. 検索ボックスに [hive.execution.engine] と入力します。
2. [hive.execution.engine] の値を [tez] に設定し、[Save] をクリックします。
3. 表示されるダイアログボックスで、[Execution Reason] フィールドに理由を入力し、[Save] をクリックします。
Hive サービスを再起動します。
1. [Services] ページの右上隅で、[More > 再起動] を選択します。
2. 表示されるダイアログボックスで、[Execution Reason] フィールドに理由を入力し、[OK] をクリックします。
3. [Confirm] ダイアログボックスで、[OK] をクリックします。

E-MapReduce コンソールの [Access Links and Ports] ページで、[Tez UI] のリンクをクリックして、Tez Web UI にアクセスします。