DataWorks では、DataWorks コンソールで E-MapReduce（EMR）JAR リソースまたは EMR ファイルリソースを作成できます。ユーザー定義関数（UDF）またはオープンソースの MapReduce コードを含むファイルを EMR リソースとしてアップロードし、コミットできます。その後、EMR 計算ノードでリソースを参照できます。このトピックでは、ファイルのアップロードによるリソースの作成、リソースのコミット、および EMR 計算ノードでのリソースの参照方法について説明します。
前提条件
EMR リソースは、EMR Data Lake クラスターまたは EMR Hadoop クラスターに基づいてのみ作成できます。リソースの作成に必要な準備は、EMR クラスターのタイプによって異なります。このトピックの操作を実行する前に、ビジネス要件に基づいて EMR 側と DataWorks 側で必要な準備を完了する必要があります。詳細については、以下のトピックを参照してください。
Data Lake クラスター: EMR Data Lake クラスターの構成 および DataWorks の構成
Hadoop クラスター: EMR クラスターを EMR 計算エンジンインスタンスとして DataWorks ワークスペースに関連付ける
EMR リソースの作成
DataWorks コンソール にログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションペインで、 を選択します。表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発に移動] をクリックします。
アイコンにポインターを移動し、 または [リソースの作成][EMR][EMR ファイル]リソースの作成EMREMRファイル を選択します。目的のワークフローを見つけ、ワークフロー名を右クリックし、 または [リソースの作成][EMR][EMR ファイル] を選択することもできます。
[リソースの作成] ダイアログボックスで、パラメーターを構成します。次の表にパラメーターを示します。
パラメーター
説明
エンジンの種類
このパラメーターの値は EMR に固定されています。このパラメーターの値を変更することはできません。
エンジンインスタンス
ドロップダウンリストから目的の計算エンジンを選択します。
説明ドロップダウンリストには、ワークスペースに関連付けられているすべての EMR 計算エンジンが表示されます。
リソースの種類
リソースの種類。有効な値: EMR ファイルと EMR JAR。
パス
リソースを作成するワークフロー。
ストレージパス
リソースのストレージパス。有効な値: [OSS] と [HDFS]。
[OSS] を選択した場合は、OSS の横にある [承認] をクリックして、DataWorks が Object Storage Service（OSS）にアクセスすることを承認する必要があります。次に、フォルダーを選択します。
説明承認を実行するには、Alibaba Cloud アカウントを使用する必要があります。
[HDFS] を選択した場合は、ストレージパスを入力する必要があります。
説明JAR パッケージは、次のオブジェクトに格納できます。
EMR クラスターのマスターノード。
OSS。JAR パッケージは OSS に格納することをお勧めします。JAR パッケージを OSS に格納する方法の詳細については、OSSコンソールを使用して開始する を参照してください。
ファイルソース
アップロードするファイルのソース。有効な値: [ローカル] と [OSS]。
[ローカル] を選択した場合は、[ファイル] フィールドの [アップロード] をクリックして、オンプレミスマシンからファイルをアップロードします。
[OSS] を選択した場合は、[ファイルの選択] で OSS オブジェクトを選択するか、[OSS で作成] をクリックして OSS オブジェクトを作成します。
名前
作成する EMR リソースの名前。JAR ファイルをリソースとしてアップロードする場合は、ファイル名拡張子 .jar をリソース名に追加する必要があります。
[作成] をクリックします。
トップツールバーの
と 
アイコンをクリックして、タスクのスケジューリングと開発のためにリソースをサーバーに保存してコミットします。説明テーブルをコミットするときは、スケジューリング用のリソースグループを選択する必要があります。サーバーレスリソースグループを使用してテーブルをコミットする場合、DataWorks はテーブル作成タスクを計算エンジンに発行し、実行ログを表示します。テーブルのコミット時にエラーが発生した場合は、実行ログを使用して問題のトラブルシューティングを行うことができます。サーバーレスリソースグループが使用できない場合は、サーバーレスリソースグループを購入して構成できます。詳細については、サーバーレスリソースグループの作成と使用 を参照してください。
リソースを使用して関数を登録する
DataWorks では、DataWorks コンソールでリソースを使用して関数を登録できます。関数の登録に必要なリソースを DataWorks コンソールにアップロードした後、関数を登録するときにリソースを使用できます。
ノードコードでリソースを使用する
EMR JAR リソースを作成した後、次の操作を実行して、ノードのコードでリソースを参照できます。 [リソース] で作成したリソースを見つけ、リソース名を右クリックし、[リソースパスの挿入] を選択します。次の図は、参照手順を示しています。
リソースがノードによって参照されると、@resource_reference{"リソース名"} 形式のコードが表示されます。
リソースの参照方法の詳細については、EMR MR ノードの作成 を参照してください。
リソースバージョンの管理
リソースをコミットするたびに、リソースバージョンが生成されます。リソース名を右クリックし、[バージョンの表示] を選択して、詳細情報を表示したり、特定のバージョンのリソースをダウンロードしたりできます。