本章节介绍如何通过多种工具和框架提交和调度大数据任务,支持从交互式开发到自动化调度的全流程任务管理。通过DolphinScheduler提交Spark任务通过Serverless Spark提交PySpark流任务通过spark-submit提交任务通过Apache Airflow提交任务通过Jupyter Notebook与Serverless Spark进行交互在PySpark程序中使用Python第三方库在Notebook中使用Python第三方库通过Zeppelin Livy Interpreter连接EMR Serverless Spark