Kueri riwayat pelaksanaan pekerjaan Spark dengan ListJobRuns API - E-MapReduce - Alibaba Cloud - E-MapReduce

Mengkueri daftar pekerjaan Spark.

Coba sekarang

Coba API ini di OpenAPI Explorer tanpa perlu penandatanganan manual. Panggilan yang berhasil akan secara otomatis menghasilkan contoh kode SDK sesuai dengan parameter Anda. Unduh kode tersebut dengan kredensial bawaan yang aman untuk penggunaan lokal.

Test

RAM authorization

Tabel berikut menjelaskan otorisasi yang diperlukan untuk memanggil API ini. Anda dapat menentukannya dalam kebijakan Resource Access Management (RAM). Kolom pada tabel dijelaskan sebagai berikut:

Action: Aksi yang dapat digunakan dalam elemen Action pada pernyataan kebijakan izin RAM untuk memberikan izin guna melakukan operasi tersebut.
API: API yang dapat Anda panggil untuk melakukan aksi tersebut.
Access level: Tingkat akses yang telah ditentukan untuk setiap API. Nilai yang valid: create, list, get, update, dan delete.
Resource type: Jenis resource yang mendukung otorisasi untuk melakukan aksi tersebut. Ini menunjukkan apakah aksi tersebut mendukung izin tingkat resource. Resource yang ditentukan harus kompatibel dengan aksi tersebut. Jika tidak, kebijakan tersebut tidak akan berlaku.
- Untuk API dengan izin tingkat resource, jenis resource yang diperlukan ditandai dengan tanda bintang (*). Tentukan Nama Sumber Daya Alibaba Cloud (ARN) yang sesuai dalam elemen Resource pada kebijakan.
- Untuk API tanpa izin tingkat resource, ditampilkan sebagai All Resources. Gunakan tanda bintang (*) dalam elemen Resource pada kebijakan.
Condition key: Kunci kondisi yang didefinisikan oleh layanan. Kunci ini memungkinkan kontrol granular, berlaku baik hanya untuk aksi maupun untuk aksi yang terkait dengan resource tertentu. Selain kunci kondisi spesifik layanan, Alibaba Cloud menyediakan serangkaian common condition keys yang berlaku di semua layanan yang didukung RAM.
Dependent action: Aksi dependen yang diperlukan untuk menjalankan aksi tersebut. Untuk menyelesaikan aksi tersebut, pengguna RAM atau role RAM harus memiliki izin untuk melakukan semua aksi dependen.

Action

Access level

Resource type

Condition key

Dependent action

emr-serverless-spark:ListJobRuns

list

*Semua resource.

*

None

Sintaks permintaan

GET /api/v1/workspaces/{workspaceId}/jobRuns HTTP/1.1

Path Parameters

Parameter	Type	Required	Description	Example
workspaceId	string	Yes	ID ruang kerja.	w-d2d82aa09155****

Parameter permintaan

Parameter	Type	Required	Description	Example
nextToken	string	No	Token paginasi yang menandai posisi mulai membaca.	DD6B1B2A-5837-5237-ABE4-FF0C89568980
maxResults	integer	No	Jumlah maksimum rekaman yang diambil dalam satu permintaan. Nilai maksimum: 100.	20
name	string	No	Nama pekerjaan.	emr-spark-demo-job
creator	string	No	UID pengguna yang membuat pekerjaan.	150976534701****
jobRunId	string	No	ID pekerjaan.	j-xxx
tags	array<object>	No	Daftar tag.
	object	No	Objek tag.
key	string	No	Kunci tag.	tag_key
value	string	No	Nilai tag.	value
states	array	No	Status pekerjaan.	["Running","Submitted"]
	string	No	Status pekerjaan. Nilai valid: Submitted: Pekerjaan telah dikirimkan. Pending: Pekerjaan sedang menunggu. Running: Pekerjaan sedang berjalan. Success: Pekerjaan berhasil. Failed: Pekerjaan gagal. Cancelling: Pekerjaan sedang dibatalkan. Cancelled: Pekerjaan telah dibatalkan. CancelFailed: Pembatalan pekerjaan gagal.	Running
startTime	object	No	Rentang waktu mulai pekerjaan.
startTime	integer	No	Awal rentang waktu mulai.	1709740800000
endTime	integer	No	Akhir rentang waktu mulai.	1710432000000
endTime	object	No	Rentang waktu akhir pekerjaan.
startTime	integer	No	Awal rentang waktu akhir.	1709740800000
endTime	integer	No	Akhir rentang waktu akhir.	1710432000000
resourceQueueId	string	No	Nama antrian sumber daya tempat pekerjaan Spark berjalan.	dev_queue
jobRunDeploymentId	string	No	ID pekerjaan dari penerapan pekerjaan streaming.	jd-b6d003f1930f****
regionId	string	No	ID wilayah.	cn-hangzhou
minDuration	integer	No	Durasi eksekusi minimum pekerjaan, dalam milidetik.	60000
isWorkflow	string	No	Apakah pekerjaan merupakan pekerjaan alur kerja.	false
runtimeConfigs	string	No	Konfigurasi pengatur waktu proses.	[{\"key\":\"mainClass\",\"value\":\"yourClass\"}]
applicationConfigs	string	No	Konfigurasi Spark.	[{\"key\":\"spark.app.name\",\"value\":\"test\"}]

Elemen respons

Element	Type	Description	Example
	object	Parameter tanggapan.
jobRuns	array<object>	Daftar pekerjaan Spark.
	array<object>	Objek tugas node Spark.
workspaceId	string	ID ruang kerja.	w-d2d82aa09155****
jobRunId	string	ID pekerjaan.	jr-231231
name	string	Nama pekerjaan.	jobName
state	string	Status pekerjaan.	Running
stateChangeReason	object	Alasan perubahan status.
code	string	The error code.	0
message	string	The error message.	connection refused
submitTime	integer	Pengatur waktu pengiriman pekerjaan.	1684119314000
endTime	integer	Pengatur waktu akhir pekerjaan.	1684119314000
codeType	string	Tipe kode pekerjaan. Nilai valid: SQL JAR PYTHON.	SQL
webUI	string	Web UI pekerjaan.	http://spark-ui
executionTimeoutSeconds	integer	Pengatur waktu timeout eksekusi, dalam detik.	3600
creator	string	UID pengguna yang membuat pekerjaan.	150978934701****
tags	array	Tag.
	Tag	Tag pekerjaan.
log	RunLog	Jalur log run.
releaseVersion	string	Versi Mesin DPI Spark yang digunakan untuk menjalankan pekerjaan.	esr-3.0.0 (Spark 3.4.3, Scala 2.12, Native Runtime)
jobDriver	JobDriver	Informasi Spark Driver. Parameter ini tidak dikembalikan oleh operasi List.
configurationOverrides	object	Konfigurasi lanjutan Spark. Parameter ini tidak dikembalikan oleh operasi List.
configurations	array	A list of Spark configurations.
	Configuration	A Spark configuration object.
displayReleaseVersion	string	Versi Mesin DPI Spark yang digunakan untuk menjalankan pekerjaan.	esr-3.0.0 (Spark 3.4.3, Scala 2.12)
fusion	boolean	Apakah akselerasi mesin Fusion diaktifkan.	true
vcoreSeconds	integer	Jumlah total vcore yang dialokasikan dikalikan dengan jumlah detik pekerjaan telah berjalan.	8236
mbSeconds	integer	Jumlah total memori yang dialokasikan dikalikan dengan jumlah detik pekerjaan telah berjalan.	33030784
cuHours	number	Jumlah unit komputasi (CU) yang dikonsumsi selama siklus run pekerjaan. Nilai ini adalah estimasi. Nilai aktual bergantung pada Tagihan.	2.059
resourceQueueId	string		dev_queue
priority	string		5
requestId	string	ID permintaan.	DD6B1B2A-5837-5237-ABE4-FF0C8944****
nextToken	string	Posisi mulai membaca data.	1
maxResults	integer	Jumlah maksimum rekaman yang dikembalikan dalam permintaan ini.	20
totalCount	integer	Jumlah total rekaman yang sesuai dengan kondisi permintaan.	200
aggregations	object
	string

Contoh

Respons sukses

JSONformat

{
  "jobRuns": [
    {
      "workspaceId": "w-d2d82aa09155****",
      "jobRunId": "jr-231231",
      "name": "jobName",
      "state": "Running",
      "stateChangeReason": {
        "code": "0",
        "message": "connection refused\n"
      },
      "submitTime": 1684119314000,
      "endTime": 1684119314000,
      "codeType": "SQL",
      "webUI": "http://spark-ui",
      "executionTimeoutSeconds": 3600,
      "creator": "150978934701****",
      "tags": [
        {
          "key": "workflowId",
          "value": "wf-123test"
        }
      ],
      "log": {
        "driverStdOut": "oss://bucket/path/to/stdout",
        "driverStdError": "oss://bucket/path/to/stderr",
        "driverSyslog": "oss://bucket/path/to/syslog",
        "driverStartup": "oss://bucket/path/to/startup"
      },
      "releaseVersion": "esr-3.0.0 (Spark 3.4.3, Scala 2.12, Native Runtime)",
      "jobDriver": {
        "sparkSubmit": {
          "entryPoint": "oss://bucket/path/to/entrypoint.jar",
          "entryPointArguments": [
            "arg1"
          ],
          "sparkSubmitParameters": "--conf spark.app.name=test"
        }
      },
      "configurationOverrides": {
        "configurations": [
          {
            "configFileName": "common.conf",
            "configItemKey": "hive.metastore.type",
            "configItemValue": "USER_RDS"
          }
        ]
      },
      "displayReleaseVersion": "esr-3.0.0 (Spark 3.4.3, Scala 2.12)",
      "fusion": true,
      "vcoreSeconds": 8236,
      "mbSeconds": 33030784,
      "cuHours": 2.059,
      "resourceQueueId": "dev_queue",
      "priority": "5"
    }
  ],
  "requestId": "DD6B1B2A-5837-5237-ABE4-FF0C8944****",
  "nextToken": "1",
  "maxResults": 20,
  "totalCount": 200,
  "aggregations": {
    "key": ""
  }
}

Kode kesalahan

Lihat Error Codes untuk daftar lengkap.

Catatan rilis

Lihat Release Notes untuk daftar lengkap.