数据湖构建：Serverless Spark访问DLF

使用限制

仅支持使用esr-3.5.0、esr-2.9.0、esr-4.6.0及以上版本。

创建DLF Catalog

详情请参见 DLF 快速入门 。

在Serverless Spark中绑定DLF Catalog

您可以新建Serverless Spark工作空间并绑定使用DLF Catalog，也可以在已有的Serverless Spark工作空间中绑定使用DLF Catalog。

通过Serverless Spark访问DLF文件

1. 登录 数据湖构建控制台 。

2. 在绑定的DLF Catalog的default数据库下，创建一个名为object_table的Object表。

3. 单击新建的表，进入表详情页，在上方选择文件列表页签。

4. 单击上传文件：employee.csv。

5. 返回EMR控制台，在左侧导航栏，选择EMR Serverless > Spark，进入EMR Serverless Spark的工作空间。

6. 在左侧导航栏选择数据开发，

7. 在开发目录页签下，单击图标，在弹出的对话框中，输入名称，类型使用Notebook，然后单击确定。

8. 运行下列代码，访问测试文件。

   # 路径需要替换为步骤二中的对应的Catalog Name
   df = spark.read.option("delimiter", ",").option("header", True).csv("pvfs://catalog_name/default/object_table/employee.csv")
   # 显示DataFrame的前几行
   df.show(5)
   # 执行一个简单的聚合操作：计算每个部门的总薪资
   sum_salary_per_department = df.groupBy("department").agg({"salary": "sum"}).show()

   +-------------+----------+------+
   |employee_name|department|salary|
   +-------------+----------+------+
   |        James|     Sales|  3000|
   |      Michael|     Sales|  4600|
   |       Robert| Marketing|  4100|
   |        Maria|   Finance|  3000|
   |        James|     Sales|  3000|
   +-------------+----------+------+
   only showing top 5 rows
   +----------+-----------+
   |department|sum(salary)|
   +----------+-----------+
   |     Sales|    12600.0|
   |   Finance|     6900.0|
   | Marketing|    10400.0|
   +----------+-----------+