Gunakan SubmitSparkApp untuk mengirim aplikasi Spark - AnalyticDB - Alibaba Cloud - AnalyticDB

Mengirimkan aplikasi Spark.

Deskripsi operasi

Regional public endpoint: adb.<region-id>.aliyuncs.com. Example: adb.cn-hangzhou.aliyuncs.com.
Regional Virtual Private Cloud (VPC) endpoint: adb-vpc.<region-id>.aliyuncs.com. Example: adb-vpc.cn-hangzhou.aliyuncs.com.

Catatan

If HTTP status code 409 is returned when you call this operation in the China (Qingdao), China (Shenzhen), China (Guangzhou), or China (Hong Kong) region, contact technical support.

Coba sekarang

Coba API ini di OpenAPI Explorer tanpa perlu penandatanganan manual. Panggilan yang berhasil akan secara otomatis menghasilkan contoh kode SDK sesuai dengan parameter Anda. Unduh kode tersebut dengan kredensial bawaan yang aman untuk penggunaan lokal.

Test

RAM authorization

Tabel berikut menjelaskan otorisasi yang diperlukan untuk memanggil API ini. Anda dapat menentukannya dalam kebijakan Resource Access Management (RAM). Kolom pada tabel dijelaskan sebagai berikut:

Action: Aksi yang dapat digunakan dalam elemen Action pada pernyataan kebijakan izin RAM untuk memberikan izin guna melakukan operasi tersebut.
API: API yang dapat Anda panggil untuk melakukan aksi tersebut.
Access level: Tingkat akses yang telah ditentukan untuk setiap API. Nilai yang valid: create, list, get, update, dan delete.
Resource type: Jenis resource yang mendukung otorisasi untuk melakukan aksi tersebut. Ini menunjukkan apakah aksi tersebut mendukung izin tingkat resource. Resource yang ditentukan harus kompatibel dengan aksi tersebut. Jika tidak, kebijakan tersebut tidak akan berlaku.
- Untuk API dengan izin tingkat resource, jenis resource yang diperlukan ditandai dengan tanda bintang (*). Tentukan Nama Sumber Daya Alibaba Cloud (ARN) yang sesuai dalam elemen Resource pada kebijakan.
- Untuk API tanpa izin tingkat resource, ditampilkan sebagai All Resources. Gunakan tanda bintang (*) dalam elemen Resource pada kebijakan.
Condition key: Kunci kondisi yang didefinisikan oleh layanan. Kunci ini memungkinkan kontrol granular, berlaku baik hanya untuk aksi maupun untuk aksi yang terkait dengan resource tertentu. Selain kunci kondisi spesifik layanan, Alibaba Cloud menyediakan serangkaian common condition keys yang berlaku di semua layanan yang didukung RAM.
Dependent action: Aksi dependen yang diperlukan untuk menjalankan aksi tersebut. Untuk menyelesaikan aksi tersebut, pengguna RAM atau role RAM harus memiliki izin untuk melakukan semua aksi dependen.

Action

Access level

Resource type

Condition key

Dependent action

adb:SubmitSparkApp

create

*SparkApplication

acs:adb:{#regionId}:{#accountId}:dbcluster/{#DBClusterId}/resourcegroup/{#ResourceGroup}

None

Parameter permintaan

Parameter	Type	Required	Description	Example
AppName	string	No	Nama aplikasi. Panjang nilai dapat mencapai 64 karakter.	TestApp
AppType	string	No	Tipe aplikasi. Nilai valid: SQL STREAMING BATCH (default).	SQL
Data	string	Yes	Data templat aplikasi. Catatan Untuk informasi tentang konfigurasi templat aplikasi, lihat Panduan konfigurasi aplikasi Spark.	conf spark.driver.resourceSpec=small; conf spark.executor.instances=1; conf spark.executor.resourceSpec=small; conf spark.app.name=TestApp;
AgentSource	string	No	Tipe klien. Panjang nilai dapat mencapai 64 karakter.	CONSOLE
AgentVersion	string	No	Versi klien. Panjang nilai dapat mencapai 64 karakter.	1.091
DBClusterId	string	Yes	ID kluster Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse. Catatan Anda dapat memanggil operasi DescribeDBClusters untuk mengkueri ID semua kluster Database Analitik for MySQL dalam suatu wilayah.	amv-bp11q28kvl688****
ResourceGroupName	string	Yes	Nama kelompok sumber daya pekerjaan. Catatan Anda dapat memanggil operasi DescribeDBResourceGroup untuk mengkueri nama kelompok sumber daya dalam sebuah kluster.	adb
TemplateFileId	integer	No	ID templat aplikasi. Catatan Anda dapat memanggil operasi GetSparkTemplateFullTree untuk mengkueri ID templat aplikasi.	15

Elemen respons

Element	Type	Description	Example
	object	The response parameters.
RequestId	string	The request ID.	1AD222E9-E606-4A42-BF6D-8A4442913CEF
Data	object	The returned data.
AppId	string	The application ID.	s202204132018hzprec1ac61a000****
AppName	string	The name of the application.	TestApp
Message	string	The alert message returned for the operation, such as task execution failure or insufficient resources. If no alert occurs, null is returned.	Insufficient resources.
State	string	The execution state of the application. Valid values: SUBMITTED STARTING RUNNING FAILING FAILED KILLING KILLED SUCCEEDING COMPLETED FATAL UNKNOWN	SUBMITTED

Contoh

Respons sukses

JSONformat

{
  "RequestId": "1AD222E9-E606-4A42-BF6D-8A4442913CEF",
  "Data": {
    "AppId": "s202204132018hzprec1ac61a000****",
    "AppName": "TestApp",
    "Message": "Insufficient resources.",
    "State": "SUBMITTED"
  }
}

Kode kesalahan

HTTP status code	Error code	Error message
400	Spark.App.ExceedQuotaLimitation	The requested resource exceeds the maximum limit: %s
400	Spark.App.InvalidAppTypeWhenSubmit	The specified AppType is INVALID or NULL. Please refer to the documentation to correct the parameters for %s.
400	Spark.App.InvalidResourceSpec	The requested resource type is not supported:\n %s
400	Spark.App.ParameterConflict	Conflicting parameters submitted:\n %s
400	Spark.App.ResourceNegativeError	The requested resource MUST be positive: %s
400	Spark.Config.InvalidAppFilePath	The main driver file MUST be a valid OSS path. Current is %s.
400	Spark.Config.invalidConnectors	The spark.adb.connectors configuration is invalid: %s
400	Spark.Config.InvalidDiskConfig	The requested disk mount parameter is invalid: %s
400	Spark.Config.InvalidHostAliasConfig	The requested host alias parameter %s is invalid. Example: 127.0.0.1 localhost local
400	Spark.Config.InvalidLogOssPath	The OSS address for log storage is illegal: %s
400	Spark.Config.InvalidRoleArnFormat	Configure RoleARN %s invalid format. It should match acs:ram::uid_number:role/role_name
400	Spark.Config.InvalidTimeZone	Unable to parse time zone configuration %s : %s
400	Spark.Config.MainAppFileNotExists	The main driver file is missing, [file] or [sqls] must be configured.
400	Spark.Config.OSSPathAccessError	The configured OSS address %s cannot be accessed.
400	Spark.Config.OSSPathNotExists	The OSS address %s requested does not exist or the permissions are insufficient.
400	Spark.Config.RoleArnVerifyFailed	RoleARN parameter verification failed. Error msg: %s when verify RoleArn %s
400	Spark.Config.SecurityGroupNotFound	The security group in the configuration does not exist or cannot be accessed. %s.
400	Spark.Config.VswitchNotFound	The vswitch in the configuration does not exist or cannot be accessed. %s.
400	Spark.InvalidParameter	Invalid parameter value: %s
400	Spark.InvalidState	The object of the operation is in an invalid state: %s
400	Spark.RoleArn.Invalid	%s is not found, or the RAM role has not been authorized.
400	Spark.SQL.BlankError	Input sql can not be blank string.
400	Spark.SQL.MultipleSQLError	Element in field [sqls] can not contain more than one sql statement: %s.
400	Spark.SQL.NotFoundExecutableSQLError	No executable statements are submitted. Please check the input SQL.
400	Spark.SQL.ParserError	Submit spark app failed when parser SQL %s. Error message: %s.
400	Spark.RoleARN.invalid	Current account fails to verify the permissions of the RAM system, please check the help information and configure the appropriate permissions for the current account.
500	Spark.ServerError	The Spark control component system encountered an error, please create a ticket to solve the problem or concat the supported engineer on duty. Error message: %s
403	Spark.Forbidden	No permissions to access the resources: %s
404	Spark.App.ContentNotFound	The requested content %s of the Spark application is not found.
404	Spark.App.NotFound	The Spark application %s is not found.
404	Spark.ObjectNotFound	The object is not found. More information: %s

Lihat Error Codes untuk daftar lengkap.

Catatan rilis

Lihat Release Notes untuk daftar lengkap.