Dataphin のタスク ランタイム リソースとは、タスクの作成時と実行時にタスクが使用する CPU とメモリの割り当てのことです。このトピックでは、Dataphin でのタスク ランタイム リソースのカスタマイズの概要を説明し、特定の要件に合わせてリソース割り当てを調整できるようにします。
タスク ランタイム リソース消費量
タスク ランタイム中のリソース消費は、コンテナー ベースタスク リソースとの 2 つの要素で構成されます。
コンテナーベース: これらのリソースはシステム構成によって事前に設定されており、変更できません。
タスク リソース: タスク リソースをカスタマイズできます。Dataphin では、アノテーション文を追加することでリソース構成を有効にすることができます。詳細については、「タスク リソース構成の説明」をご参照ください。
タスクのデフォルト リソース
各タスク タイプのデフォルトのリソース構成を以下の表に示します。
タスクの種類 | 既定のタスク リソース |
シェル/Python | CPU: 0.1 コア メモリ: 256 MB |
オフライン パイプライン/タスク同期 | CPU: 0.5 コア メモリ: 1 GB |
SQL | 追加のリソースは消費されません。 |
Spark (JAR/SQL) | CPU: 0.3 コア メモリ: 4 GB |
MapReduce | CPU: 0.2 コア メモリ: 512 MB |
タスクリソース構成の説明
カスタム リソース構成の範囲は、CPU が 0.001 CPU ～ 4.0 CPU、メモリが 32 MB ～ 16 GB です。タスク リソース サイズをカスタマイズするには、タスク コードの先頭にアノテーション文を追加します。
@required_resource{required_memory=メモリサイズ;required_cpus=CPUサイズ}コード例:
!#/bin/bash
@required_resource{required_memory=2GB;required_cpus=1.0}
@resource_reference{"test-boot.jar"}
java -jar test-boot.jar -Xms 1024m -Xmx 1024m