Cria uma definição de fluxo de trabalho.
Experimente agora
Testar
Autorização RAM
|
Ação |
Nível de acesso |
Tipo de recurso |
Chave de condição |
Ação dependente |
|
emr-serverless-spark:CreateProcessDefinitionWithSchedule |
none |
*Todos os recursos.
|
Nenhuma | Nenhuma |
Sintaxe da solicitação
POST /dolphinscheduler/projects/{bizId}/process-definition HTTP/1.1
Parâmetros de caminho
|
Parâmetro |
Tipo |
Obrigatório |
Descrição |
Exemplo |
| bizId |
string |
Sim |
O ID do espaço de trabalho. |
w-d8******** |
Parâmetros da solicitação
|
Parâmetro |
Tipo |
Obrigatório |
Descrição |
Exemplo |
| productNamespace |
string |
Sim |
O código do produto. |
SS |
| name |
string |
Sim |
O nome do fluxo de trabalho. |
ods_batch_workflow |
| description |
string |
Sim |
A descrição do fluxo de trabalho. |
ods batch workflow |
| timeout |
integer |
Não |
O período de tempo limite padrão para a execução do fluxo de trabalho, em segundos. |
60 |
| taskRelationJson |
array<object> |
Sim |
O array JSON de dependências de tarefas. Ele contém as dependências entre todas as tarefas no fluxo de trabalho. preTaskCode especifica o ID da tarefa upstream e postTaskCode especifica o ID da tarefa downstream. Cada tarefa deve ter um ID exclusivo. Se um nó de tarefa não tiver uma tarefa upstream, você deve adicionar uma dependência com preTaskCode definido como 0. |
|
|
object |
Sim |
O objeto JSON de dependências de tarefas. Ele contém as dependências entre todas as tarefas no fluxo de trabalho. preTaskCode especifica o ID da tarefa upstream e postTaskCode especifica o ID da tarefa downstream. Cada tarefa deve ter um ID exclusivo. Se um nó de tarefa não tiver uma tarefa upstream, você deve adicionar uma dependência com preTaskCode definido como 0. |
||
| name |
string |
Sim |
O nome da relação de topologia de tarefas. Defina este parâmetro como o nome do fluxo de trabalho. |
ods batch workflow |
| preTaskCode |
integer |
Sim |
O ID da tarefa upstream. |
16************ |
| preTaskVersion |
integer |
Sim |
A versão da tarefa upstream. |
1 |
| postTaskCode |
integer |
Sim |
O ID da tarefa downstream. |
28************ |
| postTaskVersion |
integer |
Sim |
A versão da tarefa downstream. |
1 |
| taskDefinitionJson |
array<object> |
Sim |
O array JSON de definições de tarefas. Ele contém as informações de descrição de todas as tarefas no fluxo de trabalho. |
|
|
array<object> |
Sim |
O objeto JSON de definições de tarefas. Ele contém as informações de descrição de todas as tarefas no fluxo de trabalho. |
||
| code |
integer |
Sim |
O ID da definição da tarefa. |
36************ |
| description |
string |
Não |
A descrição da definição da tarefa. |
ods transform task |
| alertEmailAddress |
string |
Não |
O endereço de e-mail para notificações de alerta. |
foo_bar@spark.alert.invalid.com |
| startAlertEnable |
boolean |
Não |
Especifica se os alertas para a inicialização da tarefa devem ser ativados. |
false |
| failAlertEnable |
boolean |
Não |
Especifica se os alertas para falhas de tarefas devem ser ativados. |
false |
| failRetryTimes |
integer |
Não |
O número de tentativas após a falha de uma tarefa. |
1 |
| name |
string |
Sim |
O nome da tarefa. |
ods_transform_task |
| taskParams |
object |
Sim |
Os parâmetros da definição da tarefa. |
|
| workspaceBizId |
string |
Sim |
O ID do espaço de trabalho. |
w-d8******** |
| taskBizId |
string |
Sim |
O ID da tarefa de desenvolvimento de dados. |
TSK-d87****************** |
| resourceQueueId |
string |
Sim |
A fila de recursos para executar a tarefa Spark. |
root_queue |
| sparkDriverCores |
integer |
Não |
O número de núcleos para o driver Spark. |
1 |
| sparkExecutorCores |
integer |
Não |
O número de núcleos para o executor Spark. |
1 |
| sparkDriverMemory |
integer |
Não |
O tamanho da memória para o driver Spark. |
4g |
| sparkExecutorMemory |
integer |
Não |
O tamanho da memória para o executor Spark. |
4g |
| sparkConf |
array<object> |
Não |
As configurações da tarefa Spark. |
|
|
object |
Não |
|||
| key |
string |
Não |
A chave da configuração Spark. |
spark.dynamicAllocation.enabled |
| value |
string |
Não |
O valor da configuração Spark. |
true |
| sparkVersion |
string |
Não |
A versão do mecanismo de banco de dados do mecanismo Spark DPI. |
esr-4.0.0 (Spark 3.5.2, Scala 2.12) |
| sparkLogLevel |
string |
Não |
O nível de log do Spark. |
INFO |
| sparkLogPath |
string |
Não |
O caminho dos logs da tarefa para o nó Spark. |
oss://data***/spark/logs |
| displaySparkVersion |
string |
Não |
A versão de exibição do mecanismo Spark. |
esr-4.0.0 (Spark 3.5.2, Scala 2.12) |
| fusion |
boolean |
Não |
Especifica se a aceleração do mecanismo Fusion deve ser ativada. |
false |
| environmentId |
string |
Não |
O ID do ambiente. |
env-crhq2h5lhtgju93buhkg |
| type |
string |
Não |
O tipo de tarefa Spark. |
SQL |
| localParams |
array<object> |
Não |
A lista de parâmetros locais para a tarefa. |
|
|
object |
Não |
|||
| prop |
string |
Não |
O nome do parâmetro. |
testGlobalParam |
| direct |
string |
Não |
A direção do parâmetro. Valores válidos: IN (entrada) e OUT (saída). |
IN |
| type |
string |
Não |
O tipo de dados do parâmetro. |
VARCHAR |
| value |
string |
Não |
O valor do parâmetro. |
testGlobalParam |
| taskType |
string |
Sim |
O tipo de nó do fluxo de trabalho. |
EMR_SERVERLESS_SPARK |
| timeout |
integer |
Não |
O período de tempo limite para o método de callback, em segundos. |
1200 |
| tags |
object |
Não |
As tags. |
|
|
string |
Não |
A string JSON de pares chave-valor de tags. |
“{\"tagkey\":\"tagvalue\"}” |
|
| executionType |
string |
Sim |
A estratégia de execução. |
PARALLEL |
| alertEmailAddress |
string |
Não |
O endereço de e-mail para notificações de alerta. |
foo_bar@spark.alert.invalid.com |
| schedule |
object |
Não |
A estrutura de agendamento. |
|
| startTime |
string |
Não |
A hora de início do agendamento. Formato: AAAA-MM-DD HH:mm:ss. |
2024-12-23 16:13:27 |
| endTime |
string |
Não |
A hora de término do agendamento. Formato: AAAA-MM-DD HH:mm:ss. |
2025-12-23 16:13:27 |
| crontab |
string |
Não |
A expressão cron para o agendamento. |
0 0 0 * * ? |
| timezoneId |
string |
Não |
O ID do fuso horário. |
Asia/Shanghai |
| retryTimes |
integer |
Não |
O número de tentativas. |
1 |
| taskParallelism |
integer |
Não |
A concorrência de tarefas. |
1 |
| resourceQueue |
string |
Não |
A fila de recursos. |
root_queue |
| tags |
object |
Não |
As tags. |
|
|
string |
Não |
A string JSON de pares chave-valor de tags. |
“{\"tagkey\":\"tagvalue\"}” |
|
| publish |
boolean |
Não |
Especifica se o fluxo de trabalho deve ser publicado. |
true |
| regionId |
string |
Não |
O ID da região. |
cn-hangzhou |
| runAs |
string |
Não |
O UID da Alibaba Cloud do usuário de execução. |
113*************** |
| globalParams |
array<object> |
Não |
A lista de parâmetros globais para o fluxo de trabalho. |
|
|
object |
Não |
|||
| prop |
string |
Não |
O nome do parâmetro. |
testGlobalParam |
| value |
string |
Não |
O valor do parâmetro. |
testGlobalParam |
| direct |
string |
Não |
A direção do parâmetro. Valores válidos: IN (entrada) e OUT (saída). |
IN |
| type |
string |
Não |
O tipo de dados do parâmetro. |
VARCHAR |
Elementos de resposta
|
Elemento |
Tipo |
Descrição |
Exemplo |
|
object |
Esquema da resposta. |
||
| requestId |
string |
O ID da solicitação. |
DD6B1B2A-5837-5237-ABE4-FF0C8944**** |
| code |
integer |
O código de retorno da API. |
1400009 |
| msg |
string |
A descrição detalhada correspondente ao código de retorno. |
No permission for resource action |
| success |
string |
Indica se a solicitação foi bem-sucedida. |
true |
| failed |
string |
Indica se a solicitação falhou. |
false |
| data |
object |
O resultado retornado. |
|
| id |
integer |
O número da definição do fluxo de trabalho. |
12342 |
| code |
integer |
O ID da definição do fluxo de trabalho. |
160************ |
| httpStatusCode |
integer |
O código de status HTTP. |
200 |
Exemplos
Resposta de sucesso
JSON formato
{
"requestId": "DD6B1B2A-5837-5237-ABE4-FF0C8944****",
"code": 1400009,
"msg": "No permission for resource action",
"success": "true",
"failed": "false",
"data": {
"id": 12342,
"code": 0
},
"httpStatusCode": 200
}
Códigos de erro
Consulte Códigos de Erro para uma lista completa.
Notas de versão
Consulte Notas de Versão para uma lista completa.