DataWorks:Sincronização e mesclagem de código Git

Etapa 1: Preparar recursos e rede

As tarefas de sincronização de código são executadas em um grupo de recursos serverless e exigem acesso à rede do seu repositório git e do OSS.

1. Prepare um grupo de recursos serverless e configure a rede.

   • Prepare um grupo de recursos serverless do DataWorks e associe-o ao workspace de destino.

   • Garanta que o grupo de recursos possa acessar a porta SSH do servidor git. Apenas a porta 22 é suportada.

     • Repositório git público (por exemplo, Alibaba Cloud DevOps CodeUp ou GitHub.com): Configure um NAT Gateway de Internet e um EIP para a VPC do grupo de recursos a fim de habilitar o acesso à rede pública.

     • Repositório git privado: Garanta que o grupo de recursos e o servidor git possam se comunicar pela rede privada (VPC). Para mais informações, consulte Soluções de conectividade de rede.

2. Prepare uma fonte de dados OSS. O recurso de sincronização de código utiliza o OSS para armazenamento temporário.

   • Crie um bucket do OSS na mesma região do workspace do DataWorks.

   • Na página Data Source Management do workspace do DataWorks, crie uma fonte de dados OSS que aponte para o bucket.

     Nota

     Certifique-se de que as credenciais de acesso usadas pela fonte de dados OSS tenham as seguintes permissões: oss:GetObject, oss:ListObjects, oss:PutObject e oss:DeleteObject.

Etapa 2: Preparar o ambiente git

Crie uma conta dedicada na plataforma git, configure chaves SSH e defina regras de proteção de branch.

1. Crie uma conta git dedicada e gere chaves SSH.

   1. Crie uma conta na plataforma git (por exemplo, Alibaba Cloud DevOps CodeUp ou GitLab) dedicada a confirmações automáticas de código (por exemplo, dataworks_pusher) e configure um endereço de e-mail válido.

   2. Gere um par de chaves SSH no modo de algoritmo RSA para a conta. Não defina uma senha durante o processo de geração da chave.

      • Finalidade: Gerar a chave pública e a chave privada SSH para autenticação.

      • Comando:

        # Replace "your_user_email@example.com" with the account email configured in the previous step
        ssh-keygen -t rsa -C "your_user_email@example.com"
        
        # When prompted for a passphrase, press Enter to skip
        # Enter passphrase (empty for no passphrase): [Enter]
        # Enter same passphrase again: [Enter]

      • Resultado: Após a execução do comando, os arquivos id_rsa (chave privada) e id_rsa.pub (chave pública) são gerados no diretório ~/.ssh/. O conteúdo desses dois arquivos será utilizado nas etapas subsequentes.

        # Copy and save the public and private key contents, which will be needed in later steps
        cat ~/.ssh/id_rsa.pub
        cat ~/.ssh/id_rsa

2. Adicione a chave pública na plataforma git.

   Faça login na plataforma git e adicione a chave pública gerada na etapa anterior (o conteúdo do arquivo id_rsa.pub) na página de gerenciamento de chaves SSH da conta dataworks_pusher.

3. Crie um repositório de código e configure regras de proteção de branch.

   1. Crie um repositório git dedicado ao gerenciamento de código do DataWorks, por exemplo, DataWorks_code.

   2. Configure regras de proteção de branch no repositório para evitar modificações diretas nos branches gerenciados automaticamente pelo DataWorks. Um administrador do repositório deve realizar essa operação.

      Importante

      Regras de proteção de branch configuradas incorretamente podem causar alterações acidentais nos branches gerenciados automaticamente pelo DataWorks, o que pode quebrar a consistência da sincronização.

      • Padrão de nome de branch: dataworks_*

      • Permitido enviar (push): Selecione membros especificados e adicione a conta dataworks_pusher.

      • Permitido mesclar: Selecione No one.

Etapa 3: Configurar e inicializar a sincronização de código

Etapa 4: Verificar a sincronização de código

1. Crie um nó Shell para desenvolvimento de dados e nomeie-o shell_test.

2. Insira o código a seguir no editor de código e clique em Save na barra de ferramentas.

   echo 'Code push test.'

3. Faça login no git, acesse o repositório de destino, selecione o branch de salvamento e localize a pasta shell_test. A pasta contém três arquivos: shell_test.sh (code file), shell_test.spec.json (scheduling configuration file) e dataworks.properties (variable file). Clique em shell_test.sh para visualizar o nó shell_test e seu conteúdo de código, o que indica que a sincronização foi bem-sucedida.

4. Para verificar o status de sincronização dos outros dois branches, implante nós nos ambientes correspondentes. Para mais informações sobre como implantar nós, consulte Implantar nós.

Mesclagem reversa

O DataWorks suporta a mesclagem das alterações mais recentes de um branch git remoto de volta para a plataforma.

Essa capacidade funciona tanto com o branch principal de sincronização quanto com branches de recursos criados a partir dele. Os desenvolvedores podem trabalhar em branches independentes, realizar revisões de código e depois integrar o código testado de volta ao DataWorks para uma colaboração eficiente em equipe.

1. Entrada de mesclagem

   Em DataStudio > Code Management, expanda a seção Code Merge.

2. Visualização da mesclagem

   Na caixa de entrada Branch, insira o nome do branch a ser mesclado, como feature_cn-shanghai_branch. Clique em merge preview. O sistema compara as adições, modificações e exclusões entre o source branch e o branch padrão save do DataWorks.

   • Sem conflitos: A interface exibe um diff das alterações, listando claramente os nós a serem adicionados, modificados ou excluídos, juntamente com os detalhes das alterações de código.

   • Conflitos detectados: A interface exibe os conflitos juntamente com o conteúdo específico em conflito. Nesse caso, retorne ao seu ambiente local, resolva os conflitos manualmente no git e inicie a mesclagem novamente.

3. Confirmar mesclagem

   1. Após verificar que a visualização está correta, clique em Confirm merge.

   2. O sistema inicia a tarefa de mesclagem, e você pode monitorar o progresso em tempo real.

   3. Todos os registros históricos de mesclagem são exibidos na seção de histórico de mesclagem de código abaixo. Consulte o proprietário, o status da mesclagem e os detalhes do branch a qualquer momento.

Mesclagem entre workspaces

A sincronização git suporta clonagem entre workspaces e entre regiões de projetos do DataWorks, permitindo que você use um conjunto de códigos padronizado como modelo reutilizável em diferentes cenários de negócios. Por exemplo, implante um modelo comum de análise de usuários em workspaces independentes de diferentes linhas de negócios, cada um executando em seus próprios recursos de computação e fontes de dados.

1. Configuração de inicialização

   1. Crie dois projetos: git_cross_project_1 e git_cross_project_2. A criação entre regiões é suportada.

   2. Siga a Etapa 1 para configurar o grupo de recursos e a fonte de dados OSS em cada workspace. As duas fontes de dados podem usar a mesma configuração. Configure também a conectividade de rede.

   3. Siga a Etapa 2 para preparar um repositório git como o repositório de gerenciamento de código compartilhado para ambos os workspaces.

   4. Siga a Etapa 3 para configurar a sincronização git para ambos os workspaces (use o mesmo endereço SSH e chave privada para ambos) e certifique-se de que a inicialização seja bem-sucedida. Neste ponto, os branches de ambos os workspaces, 270256 (project1) e 270257 (project2), aparecem no repositório git.

2. Política de mesclagem entre projetos

   1. Ao mesclar branches de código entre projetos, apenas o código do nó, propriedades básicas e configurações de agendamento são mesclados. As configurações de tempo de execução não são mescladas no workspace de destino.

   2. Como os recursos de computação, grupos de recursos e fontes de dados usados pelos dois workspaces podem diferir, configure um arquivo de mapeamento de recursos merge_mapping.

      1. Abra o terminal no seu computador local, clone o branch de salvamento do workspace de origem para sua máquina local e alterne para o branch de salvamento do project1 do workspace de origem, como dataworks_cn_shenzhen_270256_save.

         # Clone the remote Git repository to your local machine
         git clone git@your_git_server_domain:64dc86a16800a4a57137536/cross_project_shenzhen.git
         
         # Switch to the save branch of project1
         git checkout <your branch name>

      2. Crie o arquivo de mapeamento merge_mapping.

         # cross_project_shenzhen is the repository name
         cd cross_project_shenzhen 
         
         # Create the directory
         mkdir -p DATAWORKS_SYSTEM_CONFIG/merge_mapping
         
         # Create the mapping file, e.g., cn_shenzhen_270256_to_cn_shenzhen_270257.properties
         vi DATAWORKS_SYSTEM_CONFIG/merge_mapping/<region>_<projectId>_to_<region>_<projectId>.properties

         Configure o conteúdo do arquivo com base na sua configuração real. Modifique os valores reais em ambos os lados de =. Vários valores são suportados para cada tipo.

         # Data source
         # spec.datasource.name.<project1 data source name>=<project2 data source name>
         spec.datasource.name.mysql_01=mysql_02
         
         # Resource group
         # spec.runtimeResource.resourceGroup.<project1 resource group ID>=<project2 resource group ID>
         spec.runtimeResource.resourceGroup.group_524257424564736=Serverless_res_group_524257424564736_764027070300961
         
         # Node output name prefix
         # spec.output-prefix.<project1 name>=<project2 name>
         spec.output-prefix.git_cross_project_1=git_cross_project_2
         
         # Project prefix for tables in MaxCompute SQL
         # script.project-identifier.<project1 name>=<project2 name>
         script.project-identifier.git_cross_project_1=git_cross_project_2
         
         # Image
         # spec.script.runtime.container.imageId.<image ID used in project1>=<image ID used in project2>
         spec.script.runtime.container.imageId.Default=System_python311_ubuntu2204_20251201
         
         # RAM role
         # spec.script.runtime.linkedRoleArn.<RAM role ARN used in project1>=<RAM role ARN used in project2>
         spec.script.runtime.linkedRoleArn.acs:ram::1107550004253538:role/aliyundataworksaccessingenirole=acs:ram::1107550004253538:role/aliyundataworksaccessingossrole

         Envie o código para o repositório git.

         # Stage current directory changes in git
         git add .
         # Commit the mapping file
         git commit -m "add mapping files"
         # Push the branch content to the remote Git repository
         git push

   3. Mesclar código entre projetos

      1. Acesse o DataStudio do workspace de destino git_cross_project_2. Clique em Code Management no painel de navegação à esquerda e localize a aba Code Merge.

      2. Na caixa de entrada de branch, insira o nome do branch de salvamento do workspace de origem, como dataworks_cn_shenzhen_270256_save.

      3. Clique em merge preview. Após confirmar que a visualização está correta, mescle o código do workspace git_cross_project_1 no workspace git_cross_project_2. Para detalhes sobre a operação de mesclagem, consulte Mesclar do git para o DataWorks.