タスクを実行する前に、ファイルや JAR などのリソースをアップロードするか、ファイルディレクトリを EMR Serverless Spark に追加できます。これにより、タスクの実行時にこれらのリソースにシームレスにアクセスできるようになります。
マネージドファイルディレクトリと統合ファイルディレクトリ
マネージドファイルディレクトリ：コンソールからローカルファイルをサービス管理のストレージスペースにアップロードします。タスクの実行時にこれらのファイルに直接アクセスできます。
統合ファイルディレクトリ：OSS、NAS、CPFS などの外部ファイルシステムをノートブックセッションやタスクにマウントすることで、それらのディレクトリ内のファイルに直接アクセスできます。
制限事項
マネージドファイルディレクトリ
アップロードできる単一ファイルの最大サイズは 500 MB です。
統合ファイルディレクトリ
1 つのワークスペースは、最大 10 個の統合ファイルディレクトリをサポートします。
Kyuubi Gateway または Spark クラスター経由で送信されたタスクには、統合ファイルディレクトリをマウントできません。
CPFS 統合ファイルディレクトリは、他のタイプの統合ファイルディレクトリ (OSS または NAS) と同時にマウントできません。たとえば、複数の OSS ディレクトリと NAS ディレクトリを同時にマウントすることはできますが、OSS ディレクトリと CPFS ディレクトリを同時にマウントすることはできません。
マネージドファイルディレクトリの管理
ファイルのアップロード
[アーティファクト] ページに移動します。
EMR コンソールにログオンします。
左側のナビゲーションペインで、 を選択します。
[Spark] ページで、対象のワークスペースの名前をクリックします。
EMR Serverless Spark ページの左側のナビゲーションペインで、[アーティファクト] をクリックします。
Managed File Directory タブで、Upload File をクリックします。
Upload File ダイアログボックスで、アップロードエリアをクリックしてローカルファイルを選択するか、エリアにファイルをドラッグします。
ファイルとフォルダーの管理
Managed File Directory タブでは、既存のファイルとフォルダーに対して以下の操作を実行できます：
ファイルに対しては、次の操作を実行できます。
[Download]：ファイルをローカルマシンにダウンロードします。
[Copy Address]: ファイルのアクセスパスをコピーします。
[Delete]: ファイルを削除します。
フォルダーでは、New Folder、Rename Folder、およびDelete の操作を実行できます。
統合ファイルディレクトリの管理
統合ファイルディレクトリを追加すると、ワークスペースでファイル編集権限を持つメンバーは、[成果物] ページから統合された OSS ファイルディレクトリ内のファイルとフォルダーを編集できます。データ開発権限を持つメンバーは、データ開発ジョブでこれらのファイルとフォルダーの読み取りおよび書き込みができます。
ファイルディレクトリの追加
[アーティファクト] ページに移動します。
EMR コンソールにログオンします。
左側のナビゲーションペインで、 を選択します。
[Spark] ページで、対象のワークスペースの名前をクリックします。
[EMR Serverless Spark] ページの左側のナビゲーションペインで、Artifacts をクリックします。
Integrated File Directory タブで、[フォルダーの作成] をクリックします。
Create File Directory ダイアログボックスで、以下のパラメーターを設定し、OK をクリックします。
OSS
次の表は、OSS のパラメータについて説明しています。
パラメータ
説明
[Name]
ファイルディレクトリの名前。
[OSS Path]
OSS ストレージパスを選択します。ワークスペースの実行ロールがこのパスへのアクセス権限があることを確認してください。
[Mounted Path]
このパスはカスタマイズできますが、
/mntパス配下にある必要があります。汎用 NAS
次の表は、汎用 NAS のパラメータについて説明しています。
パラメータ
説明
[Name]
ファイルディレクトリの名前。
ファイルシステム
汎用 NAS ファイルシステムを選択します。ワークスペースの実行ロールが NAS ファイルシステムへのアクセス権限があることを確認してください。
マウント先
NAS ファイルシステムにアクセスするためのマウントポイントを設定します。
[ファイルシステムパス]
NAS ファイルシステム内の既存のストレージパスを指定します。このパラメータを空白のままにすると、デフォルトでルートディレクトリがマウントされます。
[Mounted Path]
このパスはカスタマイズできますが、
/nasパス配下にある必要があります。CPFS for Lingjun
次の表は、CPFS for Lingjun のパラメータについて説明しています。
パラメータ
説明
[Name]
ファイルディレクトリの名前。
ファイルシステム
CPFS for Lingjun のファイルシステムを選択します。ワークスペースの実行ロールが CPFS ファイルシステムへのアクセス権限があることを確認してください。
マウント先
CPFS ファイルシステムにアクセスするためのマウントポイントを設定します。
[Mounted Path]
このパスはカスタマイズできますが、
/cpfsパス配下にある必要があります。[読み取り専用]
このオプションはデフォルトで無効になっています。有効にすると、ファイルディレクトリは読み取り専用になります。
ファイルディレクトリの削除
ファイルディレクトリを削除すると、対応する OSS、NAS、または CPFS パスとの関連付けのみが削除されます。この操作では、外部パスにあるファイルは削除されません。
Integrated File Directory タブで、削除するディレクトリを探し、Actions 列の Delete をクリックします。
OK をクリックします。
次のステップ
マネージドファイルディレクトリの使用：ファイルをアップロードした後、バッチタスクまたはストリーミングタスクで依存関係やデータソースとして使用できます。
統合ファイルディレクトリの使用：ディレクトリを統合した後、ノートブックセッション、バッチタスクまたはストリーミングタスク、または Livy ゲートウェイタスクを設定する際にマウントできます。