DataWorks:Fonte de dados do MaxCompute

Leitura em lote

• O MaxCompute Reader lê dados de tabelas particionadas e não particionadas, mas não de visualizações virtuais ou tabelas externas.

• Na leitura em lote de uma tabela particionada do MaxCompute, não configure diretamente o mapeamento de campos para colunas de chave de partição. Para sincronizar valores de chave de partição, adicione um campo personalizado, insira manualmente o nome da partição e configure o mapeamento de campos.

• Especifique valores de partição com parâmetros de agendamento para permitir a substituição automática. Assim, os dados da partição correspondente são sincronizados conforme o horário do agendamento.

  Por exemplo, considere uma tabela particionada chamada t0 com as colunas id e name. A chave de partição de nível 1 é pt e a de nível 2 é ds. Para ler dados da partição onde pt=<data comercial> e ds=hangzhou, especifique os valores de partição como pt=${parâmetro de agendamento} e ds=hangzhou ao configurar a source. Em seguida, configure o mapeamento de colunas para as colunas id e name.

• Grave colunas de chave de partição em uma tabela de destino adicionando-as como campos personalizados.

• O MaxCompute Reader filtra dados por meio de uma cláusula WHERE.

Gravação em lote

• O MaxCompute Writer não aceita o tipo de dados VARCHAR se os dados de source contiverem valores nulos.

• Se a tabela de destino for uma DeltaTable, expanda Advanced Configuration e defina Visible After Synchronization como Yes. Caso contrário, a tarefa reportará um erro se a simultaneidade for maior que 1.

• Não há suporte para sincronização de dados de uma source para uma tabela externa do MaxCompute.

• Se uma coluna na tabela de destino não estiver mapeada para uma coluna de source, o Data Integration definirá seu valor como nulo após a sincronização, mesmo que um valor padrão tenha sido especificado durante a criação da tabela.

• O MaxCompute Writer não aceita instruções SQL de pré-importação (preSql) ou pós-importação (postSql). Se for necessário execute operações SQL na tabela de destino antes ou depois da gravação dos dados (por exemplo, execute instruções DELETE para remover dados parciais em gravações incrementais), configure um nó SQL upstream ou downstream da tarefa de sincronização de dados para lidar com as operações de pré-processamento ou pós-processamento necessárias.

Gravação em tempo real

• As tarefas de sincronização em tempo real aceitam serverless resource groups.

• Tarefas de sincronização em tempo real não sincronizam tabelas sem chave primária.

• Não há suporte para sincronização de dados de uma source para uma tabela externa do MaxCompute.

• Na sincronização em tempo real para a fonte de dados padrão do MaxCompute (geralmente odps_first), um par de AccessKey temporário é usado por padrão. Esse par expira após 7 dias, causando falha na tarefa. A plataforma reinicia automaticamente a tarefa ao detectar que a falha foi causada pela expiração do par de AccessKey temporário. Se você tiver configurado regras de monitoramento para esse tipo de alerta, receberá uma notificação.

• Em tarefas de sincronização em tempo real para o MaxCompute com um clique, apenas dados completos históricos podem ser consultados no dia da configuração. Dados incrementais só estarão disponíveis para consulta no MaxCompute após a conclusão da mesclagem no dia seguinte.

• Tarefas de sincronização em tempo real para o MaxCompute com um clique geram uma partição completa diariamente. Para evitar uso excessivo de armazenamento, as tabelas do MaxCompute criadas automaticamente por essas tarefas possuem um ciclo de vida padrão de 30 dias. Se isso não atender aos seus requisitos de negócios, clique em no nome da tabela correspondente do MaxCompute durante a configuração da tarefa de sincronização para modifique o ciclo de vida.

• O Data Integration utiliza o canal de dados de sincronização do mecanismo MaxCompute para fazer upload e download de dados. Para detalhes sobre o SLA desse canal, consulte MaxCompute Tunnel overview. Avalie suas escolhas tecnológicas de sincronização de dados com base no SLA do canal de sincronização do mecanismo MaxCompute.

• Para sincronização em tempo real com um clique para o MaxCompute no modo de instância, o grupo de recursos exclusivo para Data Integration deve ter uma especificação mínima de 8C16G.

• Apenas fontes de dados personalizadas do MaxCompute na mesma região do workspace atual são suportadas. Projetos do MaxCompute entre regiões podem passar no teste de conectividade, mas, durante a execução da tarefa, um erro indicando que o mecanismo não existe será reportado na fase de criação da tabela no MaxCompute.

• Quando o MaxCompute é usado como destino para sincronização de banco de dados completo, se o tipo de tabela for uma tabela comum, apenas one-click real-time synchronization to MaxCompute e o modo de streaming incremental para sincronização em tempo real de banco de dados completo são suportados. Se o tipo de tabela for Delta Table, tanto a sincronização em tempo real de banco de dados completo quanto one-click real-time synchronization to MaxCompute são suportados.

  Nota

  Ao usar uma fonte de dados personalizada do MaxCompute, o projeto do DataWorks ainda deve estar associado a um mecanismo MaxCompute. Caso contrário, não será possível crie nós SQL do MaxCompute, o que causa falha na criação do nó done-flag para sincronização completa.

Colunas suportadas pelos tipos de dados 1,0

Colunas suportadas pelos tipos de dados 2,0 e compatíveis com Hive

Conversão de tipos de dados

A tabela a seguir descreve as conversões de tipos de dados suportadas pelo MaxCompute Reader.

Se uma conversão de dados falhar ou se houver falha na gravação dos dados na fonte de dados de destino, os dados serão tratados como dados sujos. Você pode usar isso em combinação com o limiar de dados sujos.

Conectar ao MaxCompute e ativar configurações no nível do projeto

• Faça login no cliente MaxCompute. Para mais informações, consulte MaxCompute client.

• Ative as configurações no nível do projeto MaxCompute: Certifique-se de ter as permissões necessárias. Use uma conta Project Owner para realizar as operações relacionadas. Para mais informações sobre permissões do MaxCompute, consulte MaxCompute permissions.

Ativar a propriedade ACID

Use uma conta Project Owner para execute o seguinte comando no cliente e ative a propriedade ACID. Para mais informações sobre a semântica ACID no MaxCompute, consulte ACID semantics.

setproject odps.sql.acid.table.enable=true;

(Opcional) Ativar tipos de dados 2,0

Se precisar usar o tipo TIMESTAMP nos tipos de dados 2,0 do MaxCompute, utilize uma conta Project Owner para execute o seguinte comando no cliente e ative os tipos de dados 2,0.

setproject odps.sql.type.system.odps2=true;

(Opcional) Conceder acesso a contas

Ao associar um recurso de computação do MaxCompute a um workspace, uma fonte de dados do MaxCompute é criada por padrão no DataWorks. Essa fonte pode ser usada para sincronização de dados no workspace atual. Se desejar sincronizar dados dessa fonte em outro workspace, certifique-se de que a conta de acesso especificada para a fonte de dados no outro workspace tenha as permissões necessárias para acessar o projeto do MaxCompute. Para autorização entre contas, consulte Cross-account authorization.

Configure uma tarefa de sincronização em lote de tabela única

• Para o procedimento, consulte Configure a batch synchronization task in wizard mode e Configure a batch synchronization task in script mode.

• Para uma lista completa de parâmetros e demonstrações de script para o modo de script, consulte Appendix: Script demos and parameter descriptions.

Configure uma tarefa de sincronização em tempo real de tabela única

Para o procedimento, consulte Configure a single-table real-time synchronization task.

Configure uma tarefa de sincronização de banco de dados completo

Para o procedimento, consulte Synchronize data from a full database in batch mode, Synchronize data from a full database in real-time mode e One-click real-time synchronization to MaxCompute.

Configure uma tarefa de sincronização em lote usando o editor de código

Para configure uma tarefa de sincronização em lote usando o editor de código, defina os parâmetros relacionados no script de acordo com os requisitos unificados de formato de script. Para mais informações, consulte Script mode configuration. As informações a seguir descrevem os parâmetros que devem ser configurados para fontes de dados ao utilizar o editor de código para tarefas de sincronização em lote.

Demonstração de script do Reader

Remova os comentários do código abaixo antes de executá-lo.

{
    "type":"job",
    "version":"2.0",
    "steps":[
        {
            "stepType":"odps",//The plug-in name.
            "parameter":{
                "partition":[],//The partition from which data is read.
                "isCompress":false,//Specifies whether to compress data.
                "datasource":"",//The data source.
                "column":[//The column information of the source table.
                    "id"
                ],
                "where": "",//The specific WHERE clause content when data filtering by using WHERE is enabled.
                "enableWhere":false,//Specifies whether to enable data filtering by using WHERE.
                "table":""//The table name.
            },
            "name":"Reader",
            "category":"reader"
        },
        { 
            "stepType":"stream",
            "parameter":{
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//The error count.
        },
        "speed":{
            "throttle":true,//If throttle is set to false, the mbps parameter does not take effect and throttling is disabled. If throttle is set to true, throttling is enabled.
            "concurrent":1, //The concurrency.
            "mbps":"12"//The throttling rate. 1 mbps = 1 MB/s.
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

Para especifique o Tunnel Endpoint para o MaxCompute, configure manualmente a fonte de dados no modo de script. Substitua "datasource":"", no exemplo anterior pelos parâmetros específicos da fonte de dados. Exemplo:

"accessId":"*******************",
"accessKey":"*******************",
"endpoint":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api",
"odpsServer":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api", 
"tunnelServer":"http://dt.eu-central-1.maxcompute.aliyun.com", 
"project":"*****", 

Parâmetros do script do Reader

Demonstração de script do Writer

Segue um exemplo de configuração de script.

{ "type":"job", "version":"2.0",//The version number. "steps":[ { "stepType":"stream", "parameter":{}, "name":"Reader", "category":"reader" }, { "stepType":"odps",//The plug-in name. "parameter":{ "partition":"",//The partition information. "truncate":true,//The cleanup rule. "isCompress":false,//Specifies whether to compress data. "datasource":"odps_first",//The data source name. "column": [//The source column names. "id", "name", "age", "sex", "salary", "interest" ], "table":""//The table name. }, "name":"Writer", "category":"writer" } ], "setting":{ "errorLimit":{ "record":"0"//The error count, which specifies the maximum number of tolerable dirty data records. }, "speed":{ "throttle":true,//If throttle is set to false, the mbps parameter does not take effect and throttling is disabled. If throttle is set to true, throttling is enabled. "concurrent":1, //The concurrency. "mbps":"12"//The throttling rate. 1 mbps = 1 MB/s. } }, "order":{ "hops":[ { "from":"Reader", "to":"Writer" } ] } }

Para especifique o Tunnel Endpoint para o MaxCompute, configure manualmente a fonte de dados no modo de script. Substitua "datasource":"", no exemplo anterior pelos parâmetros específicos da fonte de dados. Exemplo:

"accessId":"<yourAccessKeyId>",
 "accessKey":"<yourAccessKeySecret>",
 "endpoint":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api",
 "odpsServer":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api", 
"tunnelServer":"http://dt.eu-central-1.maxcompute.aliyun.com", 
"project":"**********", 

Parâmetros do script do Writer