O recurso ALIYUN::SLS::EtlV2 crie uma tarefa de transformação de dados da nova versão.
Sintaxe
{
"Type": "ALIYUN::SLS::EtlV2",
"Properties": {
"Configuration": Map,
"DisplayName": String,
"Name": String,
"Project": String,
"Description": String
}
}
Propriedades
|
Propriedade |
Tipo |
Obrigatória |
Editável |
Descrição |
Restrição |
|
Configuration |
Map |
Sim |
Não |
Configurações da tarefa. |
Para mais informações, consulte Propriedades de Configuration. |
|
DisplayName |
String |
Sim |
Não |
Nome de exibição da tarefa. |
Nenhuma. |
|
Name |
String |
Sim |
Não |
Nome da tarefa. |
Nenhuma. |
|
Project |
String |
Sim |
Não |
Nome do projeto do Log Service de destino da tarefa. |
Nenhuma. |
|
Description |
String |
Não |
Não |
Descrição da tarefa. |
Nenhuma. |
Sintaxe de Configuration
"Configuration": {
"Script": String,
"Sinks": List,
"Parameters": Map,
"ToTime": Integer,
"Logstore": String,
"Lang": String,
"FromTime": Integer,
"RoleArn": String
}
Propriedades de Configuration
Propriedade | Tipo | Obrigatória | Editável | Descrição | Restrição |
Logstore | String | Sim | Não | Logstore de source da tarefa. | Nenhuma. |
RoleArn | String | Sim | Não | Alibaba Cloud Resource Name (ARN) da função que o usuário deve assumir pelo Security Token Service (STS) para acessar o Logstore de destino da tarefa. | Nenhuma. |
Script | String | Sim | Não | Sintaxe da tarefa. | Nenhuma. |
Sinks | List | Sim | Não | Configurações dos destinos de armazenamento da tarefa. | Os destinos de armazenamento incluem projetos e Logstores do Log Service. Para mais informações, consulte Propriedades de Sinks. |
FromTime | Integer | Não | Não | Hora de início da tarefa. | Nenhuma. |
Lang | String | Não | Não | Tipo de linguagem da tarefa. | Importante Se você especificar o tipo SPL, o sistema criará uma transformação de dados da nova versão. Caso contrário, será criada uma transformação de dados da versão antiga. |
Parameters | Map | Não | Não | Configurações dos parâmetros avançados da tarefa. | Nenhuma. |
ToTime | Integer | Não | Não | Hora de término da tarefa. | Nenhuma. |
Sintaxe de Sinks
"Sinks": [
{
"Datasets": List,
"Project": String,
"Endpoint": String,
"Logstore": String,
"RoleArn": String,
"Name": String
}
]
Propriedades de Sinks
|
Propriedade |
Tipo |
Obrigatória |
Editável |
Descrição |
Restrição |
|
Logstore |
String |
Sim |
Não |
Logstore de destino da tarefa. |
Nenhuma. |
|
Name |
String |
Sim |
Não |
Nome do destino de armazenamento da tarefa. |
Nenhuma. |
|
Project |
String |
Sim |
Não |
Projeto do Log Service de destino da tarefa. |
Nenhuma. |
|
RoleArn |
String |
Sim |
Não |
Alibaba Cloud Resource Name (ARN) da função que o usuário deve assumir pelo Security Token Service (STS) para acessar o Logstore de destino da tarefa. |
Nenhuma. |
|
Datasets |
List |
Não |
Não |
Conjuntos de dados de resultado. |
Suporta até 50 conjuntos de dados de resultado. |
|
Endpoint |
String |
Não |
Não |
Endpoint do servidor ao qual pertence o projeto do Log Service de destino da tarefa. |
Nenhuma. |
Valores de retorno
Fn::GetAtt
Name: nome da tarefa ETL.
Exemplos
ROSTemplateFormatVersion: '2015-09-01'
Parameters:
Project:
Type: String
Description:
en: The name of the project.
Required: true
Configuration:
AssociationPropertyMetadata:
Parameters:
Script:
Type: String
Description:
en: The script of the etl job.
Required: true
Sinks:
AssociationPropertyMetadata:
Parameter:
AssociationPropertyMetadata:
Parameters:
Datasets:
AssociationPropertyMetadata:
Parameter:
Type: String
Required: false
AssociationProperty: List[Parameter]
Type: Json
Description:
en: The processing result outputs the target list.
Required: false
MinLength: 1
MaxLength: 50
Project:
Type: String
Description:
en: The name of output target project.
Required: true
Endpoint:
Type: String
Description:
en: The endpoint of the region where the target Project resides.
Required: false
Logstore:
Type: String
Description:
en: Target Logstore name.
Required: true
RoleArn:
Type: String
Description:
en: The role ARN authorized to write the target Logstore.
Required: true
Name:
Type: String
Description:
en: Output target name.
Required: true
Type: Json
Required: false
AssociationProperty: List[Parameter]
Type: Json
Description:
en: The processing result outputs the target list.
Required: true
MinLength: 1
MaxLength: 50
Parameters:
Type: Json
Description:
en: The parameters of the etl job.
Required: false
ToTime:
Type: Number
Description:
en: Deadline of processing job, the default value is 0, which means that it will continue to consume until it is manually stopped.
Required: false
Default: 0
Logstore:
Type: String
Description:
en: Source Logstore name.
Required: true
Lang:
Type: String
Description:
en: The language of the etl job.
Required: false
FromTime:
Type: Number
Description:
en: The start time of the processing job, the default starts from the current time.
Required: false
RoleArn:
Type: String
Description:
en: The role ARN authorized to read the source Logstore.
Required: true
Type: Json
Description:
en: The configuration of the etl job.
Required: true
DisplayName:
Type: String
Description:
en: The display name of the etl job.
Required: true
Name:
Type: String
Description:
en: The name of the etl job.
Required: true
Resources:
EtlV2:
Type: ALIYUN::SLS::EtlV2
Properties:
Project:
Ref: Project
Configuration:
Ref: Configuration
DisplayName:
Ref: DisplayName
Name:
Ref: Name
Outputs:
Name:
Description: ETL name.
Value:
Fn::GetAtt:
- EtlV2
- Name
{
"ROSTemplateFormatVersion": "2015-09-01",
"Parameters": {
"Project": {
"Type": "String",
"Description": {
"en": "The name of the project."
},
"Required": true
},
"Configuration": {
"AssociationPropertyMetadata": {
"Parameters": {
"Script": {
"Type": "String",
"Description": {
"en": "The script of the etl job."
},
"Required": true
},
"Sinks": {
"AssociationPropertyMetadata": {
"Parameter": {
"AssociationPropertyMetadata": {
"Parameters": {
"Datasets": {
"AssociationPropertyMetadata": {
"Parameter": {
"Type": "String",
"Required": false
}
},
"AssociationProperty": "List[Parameter]",
"Type": "Json",
"Description": {
"en": "The processing result outputs the target list."
},
"Required": false,
"MinLength": 1,
"MaxLength": 50
},
"Project": {
"Type": "String",
"Description": {
"en": "The name of output target project."
},
"Required": true
},
"Endpoint": {
"Type": "String",
"Description": {
"en": "The endpoint of the region where the target Project resides."
},
"Required": false
},
"Logstore": {
"Type": "String",
"Description": {
"en": "Target Logstore name."
},
"Required": true
},
"RoleArn": {
"Type": "String",
"Description": {
"en": "The role ARN authorized to write the target Logstore."
},
"Required": true
},
"Name": {
"Type": "String",
"Description": {
"en": "Output target name."
},
"Required": true
}
}
},
"Type": "Json",
"Required": false
}
},
"AssociationProperty": "List[Parameter]",
"Type": "Json",
"Description": {
"en": "The processing result outputs the target list."
},
"Required": true,
"MinLength": 1,
"MaxLength": 50
},
"Parameters": {
"Type": "Json",
"Description": {
"en": "The parameters of the etl job."
},
"Required": false
},
"ToTime": {
"Type": "Number",
"Description": {
"en": "Deadline of processing job, the default value is 0, which means that it will continue to consume until it is manually stopped."
},
"Required": false,
"Default": 0
},
"Logstore": {
"Type": "String",
"Description": {
"en": "Source Logstore name."
},
"Required": true
},
"Lang": {
"Type": "String",
"Description": {
"en": "The language of the etl job."
},
"Required": false
},
"FromTime": {
"Type": "Number",
"Description": {
"en": "The start time of the processing job, the default starts from the current time."
},
"Required": false
},
"RoleArn": {
"Type": "String",
"Description": {
"en": "The role ARN authorized to read the source Logstore."
},
"Required": true
}
}
},
"Type": "Json",
"Description": {
"en": "The configuration of the etl job."
},
"Required": true
},
"DisplayName": {
"Type": "String",
"Description": {
"en": "The display name of the etl job."
},
"Required": true
},
"Name": {
"Type": "String",
"Description": {
"en": "The name of the etl job."
},
"Required": true
}
},
"Resources": {
"EtlV2": {
"Type": "ALIYUN::SLS::EtlV2",
"Properties": {
"Project": {
"Ref": "Project"
},
"Configuration": {
"Ref": "Configuration"
},
"DisplayName": {
"Ref": "DisplayName"
},
"Name": {
"Ref": "Name"
}
}
}
},
"Outputs": {
"Name": {
"Description": "ETL name.",
"Value": {
"Fn::GetAtt": [
"EtlV2",
"Name"
]
}
}
}
}