すべてのプロダクト
Search

このプロダクト

    Data Lake Formation:Serverless Spark から DLF にアクセスする

    ドキュメントセンター

    Data Lake Formation:Serverless Spark から DLF にアクセスする

    最終更新日:Nov 11, 2025

    このトピックでは、Serverless Spark から Paimon 仮想ファイルシステム (PVFS) にアクセスする方法について説明します。

    制限

    この機能は、EMR バージョン esr-3.5.0、esr-2.9.0、esr-4.6.0 以降でのみ利用できます。

    DLF カタログの作成

    「DLF の概要」をご参照ください。

    Serverless Spark での DLF カタログのアタッチ

    新しい Serverless Spark ワークスペースを作成するときに DLF カタログをアタッチするか、既存のワークスペースにアタッチすることができます。

    新しい Serverless Spark ワークスペースの作成時にカタログをアタッチする

    Serverless Spark ワークスペースを作成できます。詳細については、「ワークスペースの作成」をご参照ください。

    重要

    ワークスペースを作成するときは、[メタデータサービスとして DLF を使用] を有効にし、作成した DLF カタログを選択します。

    image

    既存の Serverless Spark ワークスペースにカタログをアタッチする

    Serverless Spark ワークスペースのデータカタログページに移動し、作成した DLF カタログを追加できます。詳細については、「データカタログの管理」をご参照ください。

    説明

    ワークスペースは、一度に 1 つのバージョンの DLF データカタログのみをサポートします。ワークスペースにすでに DLF-Legacy データカタログがある場合は、標準の DLF データカタログを使用するために新しいワークスペースを作成する必要があります。または、新しいカタログを追加する前に DLF-Legacy カタログを削除することもできます。DLF-Legacy カタログを削除する前に、ワークスペースで実行中のジョブで使用されていないことを確認してください。

    Serverless Spark から DLF ファイルにアクセスする

    1. Data Lake Formation コンソールにログオンします。

    2. バインドされた DLF カタログのデフォルトデータベースに、object_table という名前の Object テーブルを作成します。

    3. 新しいテーブルをクリックして詳細ページを開きます。ページの上部にある [ファイル一覧] タブをクリックします。

    4. [ファイルのアップロード] をクリックして、employee.csv ファイルをアップロードします。

    5. EMR コンソールに移動します。左側のナビゲーションウィンドウで、[EMR Serverless] > [Spark] を選択します。

    6. 左側のナビゲーションウィンドウで、[データ開発] を選択します。

    7. [開発フォルダー] タブで、image アイコンをクリックします。表示されるダイアログボックスで、名前を入力し、[タイプ] を [Notebook] に設定して、[OK] をクリックします。

    8. 次のコードを実行して、テストファイルにアクセスします。

      # catalog_name を DLF カタログの名前に置き換えます。
df = spark.read.option("delimiter", ",").option("header", True).csv("pvfs://catalog_name/default/object_table/employee.csv")
# DataFrame の最初の数行を表示します。
df.show(5)
# 簡単な集約操作を実行します: 各部門の給与の合計を計算します。
sum_salary_per_department = df.groupBy("department").agg({"salary": "sum"}).show()

      image