SubmitSparkApp - 提交Spark应用 - 云原生数据仓库AnalyticDB

提交Spark应用。

接口说明

地域的公网接入地址：adb.<region-id>.aliyuncs.com。示例：adb.cn-hangzhou.aliyuncs.com。
地域的 VPC 接入地址：adb-vpc.<region-id>.aliyuncs.com。示例：adb-vpc.cn-hangzhou.aliyuncs.com。

说明

如果华北 1（青岛）、华南 1（深圳）、华南 3（广州）、中国香港发起请求时，遇到 409 错误，请联系技术支持。

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

下表是API对应的授权信息，可以在RAM权限策略语句的Action元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：

操作：是指具体的权限点。
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。
资源类型：是指操作中支持授权的资源类型。具体说明如下：
- 对于必选的资源类型，用前面加 * 表示。
- 对于不支持资源级授权的操作，用全部资源表示。
条件关键字：是指云产品自身定义的条件关键字。
关联操作：是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限，操作才能成功。

操作

访问级别

资源类型

条件关键字

关联操作

adb:SubmitSparkApp

create

*SparkApplication

acs:adb:{#regionId}:{#accountId}:dbcluster/{#DBClusterId}/resourcegroup/{#ResourceGroup}

无

请求参数

名称	类型	必填	描述	示例值
AppName	string	否	应用名称，可自定义字符串，长度不能超过 64 个字符。	TestApp
AppType	string	否	应用类型，取值说明： SQL：SQL 应用。 STREAMING：流应用。 BATCH（默认值）：离线应用。	SQL
Data	string	是	应用模板数据。说明应用模板配置，请参见《Spark 应用配置指南》。	conf spark.driver.resourceSpec=small; conf spark.executor.instances=1; conf spark.executor.resourceSpec=small; conf spark.app.name=TestApp;
AgentSource	string	否	客户端类型。可自定义字符串，长度不能超过 64 个字符。	CONSOLE
AgentVersion	string	否	应用程序使用的版本。可自定义字符串，长度不能超过 64 个字符。	1.091
DBClusterId	string	是	企业版、基础版或湖仓版集群 ID。说明您可以调用 DescribeDBClusters 接口可以查询集群 ID。	amv-bp11q28kvl688****
ResourceGroupName	string	是	Job 型资源组名称。说明您可以调用 DescribeDBResourceGroup 接口查看集群的资源组 ID。	adb
TemplateFileId	integer	否	应用模板 ID。说明您可以调用 GetSparkTemplateFullTree 接口可以查询应用模板 ID。	15

返回参数

名称	类型	描述	示例值
	object	任务列表。
RequestId	string	请求 ID。	1AD222E9-E606-4A42-BF6D-8A4442913CEF
Data	object	数据列表。
AppId	string	应用 ID。	s202204132018hzprec1ac61a000****
AppName	string	应用名称。	TestApp
Message	string	返回告警信息，如任务执行失败或资源不足等，无告警时则返回为空。	Insufficient resources.
State	string	应用执行状态，取值说明： SUBMITTED：已提交。 STARTING：开始启动。 RUNNING：执行中。 FAILING：任务失败，清理环境中。 FAILED：失败。 KILLING：中止任务，清理环境中。 KILLED：中止任务。 SUCCEEDING：任务执行结束，清理环境中。 COMPLETED：任务执行结束。 FATAL：意外失败。 UNKNOWN：未知错误。	SUBMITTED

示例

正常返回示例

JSON格式

{
  "RequestId": "1AD222E9-E606-4A42-BF6D-8A4442913CEF",
  "Data": {
    "AppId": "s202204132018hzprec1ac61a000****",
    "AppName": "TestApp",
    "Message": "Insufficient resources.",
    "State": "SUBMITTED"
  }
}

错误码

HTTP status code	错误码	错误信息	描述
400	Spark.App.ExceedQuotaLimitation	The requested resource exceeds the maximum limit: %s
400	Spark.App.InvalidAppTypeWhenSubmit	The specified AppType is INVALID or NULL. Please refer to the documentation to correct the parameters for %s.	AppType类型不合法，请参考使用文档指定适合业务的AppType，请关注配置类型：%s。
400	Spark.App.InvalidResourceSpec	The requested resource type is not supported:\n %s
400	Spark.App.ParameterConflict	Conflicting parameters submitted:\n %s
400	Spark.App.ResourceNegativeError	The requested resource MUST be positive: %s
400	Spark.Config.InvalidAppFilePath	The main driver file MUST be a valid OSS path. Current is %s.	主驱动文件地址必须是合法的OSS地址，当前的地址是 %s。
400	Spark.Config.invalidConnectors	The spark.adb.connectors configuration is invalid: %s	spark.adb.connectors配置不正确。
400	Spark.Config.InvalidDiskConfig	The requested disk mount parameter is invalid: %s	磁盘挂载配置错误。
400	Spark.Config.InvalidHostAliasConfig	The requested host alias parameter %s is invalid. Example: 127.0.0.1 localhost local	域名映射配置错误。
400	Spark.Config.InvalidLogOssPath	The OSS address for log storage is illegal: %s	存储日志的OSS地址非法。
400	Spark.Config.InvalidRoleArnFormat	Configure RoleARN %s invalid format. It should match acs:ram::uid_number:role/role_name	配置的RoleARN格式错误。
400	Spark.Config.InvalidTimeZone	Unable to parse time zone configuration %s : %s	时区配置错误。
400	Spark.Config.MainAppFileNotExists	The main driver file is missing, [file] or [sqls] must be configured.	主驱动文件缺失，必须保证file或者sqls配置不为空。
400	Spark.Config.OSSPathAccessError	The configured OSS address %s cannot be accessed.	配置的OSS路径无法访问。
400	Spark.Config.OSSPathNotExists	The OSS address %s requested does not exist or the permissions are insufficient.	OSS路径不存在或当前用户无权限访问。
400	Spark.Config.RoleArnVerifyFailed	RoleARN parameter verification failed. Error msg: %s when verify RoleArn %s	RoleARN参数校验失败。
400	Spark.Config.SecurityGroupNotFound	The security group in the configuration does not exist or cannot be accessed. %s.	配置的资源组不存在或者因权限不足无法访问。%s。
400	Spark.Config.VswitchNotFound	The vswitch in the configuration does not exist or cannot be accessed. %s.	无法找到配置虚拟机交换机，或当前账号权限不足。%s。
400	Spark.InvalidParameter	Invalid parameter value: %s	输入参数不正确：%s。
400	Spark.InvalidState	The object of the operation is in an invalid state: %s	操作对象处于非合法状态。
400	Spark.RoleArn.Invalid	%s is not found, or the RAM role has not been authorized.	RoleArn不存在或子账号未授权。
400	Spark.SQL.BlankError	Input sql can not be blank string.	提交SQL不能为空。
400	Spark.SQL.MultipleSQLError	Element in field [sqls] can not contain more than one sql statement: %s.	提交的Spark SQL包含了多条可执行SQL。
400	Spark.SQL.NotFoundExecutableSQLError	No executable statements are submitted. Please check the input SQL.	Spark作业的SQL信息中不包含可执行语句。
400	Spark.SQL.ParserError	Submit spark app failed when parser SQL %s. Error message: %s.	解析提交的Spark SQL失败。
400	Spark.RoleARN.invalid	Current account fails to verify the permissions of the RAM system, please check the help information and configure the appropriate permissions for the current account.	请确保您当前的 RAM 用户（ram_user_id %s）已被授予系统策略“AliyunADBDeveloperAccess”。然后按照“在阿里云帐户内执行授权”部分进行作。这将自动初始化您的云帐户中名为“aliyunadbsparkprocessingdatarole”的系统角色。更多详细信息：https://www.alibabacloud.com/help/en/analyticdb/analyticdb-for-mysql/user-guide/create-the-aliyunadbsparkprocessingdatarole-role-for-a-ram-user-and-grant-permissions-to-the-role
500	Spark.ServerError	The Spark control component system encountered an error, please create a ticket to solve the problem or concat the supported engineer on duty. Error message: %s	Spark管控组件系统遇到错误，请提交工单，或联系值班工程师。
403	Spark.Forbidden	No permissions to access the resources: %s	权限不足，拒绝访问相关资源。您当前申请访问的信息是：%s。
404	Spark.App.ContentNotFound	The requested content %s of the Spark application is not found.	找不到指定Spark作业的提交内容。
404	Spark.App.NotFound	The Spark application %s is not found.	未能找到输入的 Spark App。
404	Spark.ObjectNotFound	The object is not found. More information: %s	操作对象不存在。关联信息：%s。

访问错误中心查看更多错误码。

变更历史

更多信息，参考变更详情。