Cria uma tarefa na nova versão do Data Integration. Atualmente, os tipos de tarefa suportados incluem a solução de sincronização em tempo real de banco de dados completo do MySQL para o Hologres.
Experimente agora
Testar
Autorização RAM
Parâmetros da solicitação
|
Parâmetro |
Tipo |
Obrigatório |
Descrição |
Exemplo |
| ProjectId |
integer |
Não |
O ID do espaço de trabalho do DataWorks. Você pode chamar a operação ListProjects para obter o ID do espaço de trabalho. |
10000 |
| JobName |
string |
Não |
O nome da tarefa. |
mysql_to_holo_sync_8772 |
| Description |
string |
Não |
A descrição da tarefa. |
Synchronize mysql to hologres |
| MigrationType |
string |
Não |
O tipo de sincronização. Valores válidos:
|
FullAndRealtimeIncremental |
| SourceDataSourceType |
string |
Não |
O tipo da fonte de dados de origem. Valor válido: MySQL. |
MySQL |
| DestinationDataSourceType |
string |
Não |
O tipo da fonte de dados de destino. Valores válidos: Hologres e Hive. |
Hologres |
| SourceDataSourceSettings |
array<object> |
Não |
As configurações da fonte de dados de origem. Atualmente, apenas uma única fonte de dados é suportada. |
|
|
array<object> |
Não |
As configurações da fonte de dados de origem. |
||
| DataSourceName |
string |
Não |
O nome da fonte de dados. |
mysql_datasource_1 |
| DataSourceProperties |
object |
Não |
As propriedades da fonte de dados. |
|
|
string |
Não |
As propriedades da fonte de dados de origem. Para uma fonte de dados MySQL, os nomes de propriedade suportados incluem TimeZone (fuso horário) e Encoding (codificação). |
TimeZone |
|
| DestinationDataSourceSettings |
array<object> |
Não |
As configurações da fonte de dados de destino. Atualmente, apenas uma única fonte de dados é suportada. |
|
|
array<object> |
Não |
As configurações da fonte de dados de destino. |
||
| DataSourceName |
string |
Não |
O nome da fonte de dados. |
holo_datasource_1 |
| DataSourceProperties |
object |
Não |
As propriedades da fonte de dados. |
|
|
string |
Não |
As propriedades da fonte de dados de destino. Atualmente, nenhuma propriedade pode ser configurada para uma fonte de dados Hologres. |
TimeZone |
|
| ResourceSettings |
object |
Não |
As configurações de recursos. |
|
| OfflineResourceSettings |
object |
Não |
Os recursos de sincronização em lote. |
|
| ResourceGroupIdentifier |
string |
Não |
O identificador do grupo de recursos do Data Integration usado para sincronização em lote. |
S_res_group_111_222 |
| RealtimeResourceSettings |
object |
Não |
Os recursos de sincronização em tempo real. |
|
| ResourceGroupIdentifier |
string |
Não |
O identificador do grupo de recursos do Data Integration usado para sincronização em tempo real. |
S_res_group_111_222 |
| RequestedCu |
number |
Não |
O número de unidades de computação (CUs) do grupo de recursos usado para a tarefa de sincronização completa e incremental. |
2.0 |
| TransformationRules |
array<object> |
Não |
A lista de definições de regras de transformação para objetos de sincronização. Cada elemento na lista representa uma definição de regra de transformação. |
|
|
object |
Não |
A definição da regra de transformação para um objeto de sincronização. |
||
| RuleName |
string |
Não |
O nome da regra. O nome da regra deve ser exclusivo quando o tipo de ação e o tipo de destino da ação forem os mesmos. |
rename_rule_1 |
| RuleActionType |
string |
Não |
O tipo de ação. Valores válidos:
|
Rename |
| RuleTargetType |
string |
Não |
O tipo de destino da ação. Valores válidos:
|
Table |
| RuleExpression |
string |
Não |
A expressão da regra no formato de string JSON. Exemplo de uma regra de renomeação (Rename): {"expression":"${srcDatasourceName}_${srcDatabaseName}_0922","variables":[{"variableName":"srcDatabaseName","variableRules":[{"from":"fromdb","to":"todb"}]}]}
Exemplo de uma regra para adicionar uma coluna especificada e atribuir um valor no destino (AddColumn): {"columns":[{"columnName":"my_add_column","columnValueType":"Constant","columnValue":"123"}]}
Exemplo de especificação dos nomes das colunas de chave primária para a tabela de destino (DefinePrimaryKey): {"columns":["ukcolumn1","ukcolumn2"]}
Exemplo de uma regra de tratamento de DML (HandleDml): {"dmlPolicies":[{"dmlType":"Delete","dmlAction":"Filter","filterCondition":"id > 1"}]}
|
{"expression":"${srcDatasoureName}_${srcDatabaseName}"} |
| TableMappings |
array<object> |
Não |
A lista de mapeamentos de transformação para objetos de sincronização. Cada elemento na lista descreve um conjunto de regras de seleção de objetos de sincronização de origem e uma lista de regras de transformação de objetos de sincronização aplicadas a este conjunto de objetos de sincronização. |
|
|
array<object> |
Não |
O mapeamento de transformação para um objeto de sincronização. |
||
| SourceObjectSelectionRules |
array<object> |
Não |
As regras de seleção de objetos de origem. Várias regras são suportadas. |
|
|
object |
Não |
Cada regra pode selecionar diferentes tipos de objeto dos objetos de origem a serem sincronizados, como bancos de dados de origem e tabelas de origem. |
||
| ObjectType |
string |
Não |
O tipo de objeto. Valores válidos:
|
Table |
| Expression |
string |
Não |
A expressão. |
mysql_table_1 |
| TransformationRules |
array<object> |
Não |
A lista de regras de transformação aplicadas aos objetos de origem. |
|
|
object |
Não |
A regra de transformação aplicada aos objetos de origem. |
||
| RuleName |
string |
Não |
O nome da regra. O nome da regra deve ser exclusivo sob uma combinação específica de tipo de ação e tipo de destino da ação. |
rename_rule_1 |
| RuleActionType |
string |
Não |
O tipo de ação. Valores válidos:
|
Rename |
| RuleTargetType |
string |
Não |
O tipo de destino da ação. Valores válidos:
|
Table |
| JobSettings |
object |
Não |
As configurações no nível da tarefa de sincronização, incluindo políticas de tratamento de DDL, políticas de mapeamento de tipo de dados de coluna entre a origem e o destino, e parâmetros de tempo de execução da tarefa. |
|
| DdlHandlingSettings |
array<object> |
Não |
As configurações de tratamento de DDL. |
|
|
object |
Não |
As configurações de tratamento de DDL. |
||
| Type |
string |
Não |
O tipo de DDL. Valores válidos:
|
AddColumn |
| Action |
string |
Não |
A ação de tratamento. Valores válidos:
|
Critical |
| ColumnDataTypeSettings |
array<object> |
Não |
Os mapeamentos de tipo de coluna. Vários valores são suportados. |
|
|
object |
Não |
O mapeamento de tipo de coluna. |
||
| SourceDataType |
string |
Não |
O tipo de dados de origem. |
bigint |
| DestinationDataType |
string |
Não |
O tipo de dados de destino. |
text |
| RuntimeSettings |
array<object> |
Não |
As configurações de tempo de execução. Vários valores são suportados. |
|
|
object |
Não |
A configuração de tempo de execução. |
||
| Name |
string |
Não |
O nome da configuração. Valores válidos:
|
runtime.offline.concurrent |
| Value |
string |
Não |
O valor da configuração. |
1 |
| CycleScheduleSettings |
object |
Não |
As configurações de agendamento periódico. |
|
| CycleMigrationType |
string |
Não |
O tipo de sincronização que requer agendamento periódico. Valores válidos:
|
Full |
| ScheduleParameters |
string |
Não |
Os parâmetros de agendamento. |
bizdate=$bizdate |
| ChannelSettings |
string |
Não |
As configurações de tarefa relacionadas ao canal no formato de string JSON. |
{"structInfo":"MANAGED","storageType":"TEXTFILE","writeMode":"APPEND","partitionColumns":[{"columnName":"pt","columnType":"STRING","comment":""}],"fieldDelimiter":""} |
| ImportRuleSettings |
object |
Não |
As configurações de importação para a tarefa de sincronização. |
|
| Source |
string |
Não |
A origem da qual a configuração da tarefa é importada. Valor válido: Datastudio (tarefas de sincronização no Data Studio). |
Datastudio |
| FileId |
string |
Não |
O ID da tarefa a ser importada. |
10000 |
| SystemDebug |
string |
Não |
Usado para depuração do sistema. Valor padrão: false. |
false |
Elementos de resposta
|
Elemento |
Tipo |
Descrição |
Exemplo |
|
object |
Os dados da resposta. |
||
| RequestId |
string |
O ID da solicitação. Você pode usar o ID para localizar logs e solucionar problemas. |
4F6AB6B3-41FB-5EBB-AFB2-0C98D49DA2BB |
| DIJobId |
integer |
O ID da tarefa do Data Integration. |
11792 |
Exemplos
Resposta de sucesso
JSON formato
{
"RequestId": "4F6AB6B3-41FB-5EBB-AFB2-0C98D49DA2BB",
"DIJobId": 11792
}
Códigos de erro
|
Código de status HTTP |
Código de erro |
Mensagem de erro |
Descrição |
|---|---|---|---|
| 500 | InternalError.System | An internal system error occurred. Try again later. | |
| 500 | InternalError.UserId.Missing | An internal system error occurred. Try again later. | |
| 429 | Throttling.Api | The request for this resource has exceeded your available limit. | |
| 429 | Throttling.System | The DataWorks system is busy. Try again later. | |
| 429 | Throttling.User | Your request is too frequent. Try again later. |
Consulte Códigos de Erro para uma lista completa.
Notas de versão
Consulte Notas de Versão para uma lista completa.