本章節介紹如何通過多種工具和架構提交和調度巨量資料任務,支援從互動式開發到自動化調度的全流程任務管理。通過DolphinScheduler提交Spark任務通過Serverless Spark提交PySpark流任務通過spark-submit提交任務通過Apache Airflow提交任務通過Jupyter Notebook與Serverless Spark進行互動在PySpark程式中使用Python第三方庫在Notebook中使用Python第三方庫通過Zeppelin Livy Interpreter串連EMR Serverless Spark