DataWorks:Sinkronisasi dan penggabungan kode Git

Langkah 1: Siapkan sumber daya cloud dan jaringan

Tugas sinkronisasi kode dijalankan menggunakan Serverless Resource Group dan memerlukan akses jaringan ke repositori Git dan Object Storage Service (OSS).

1. Siapkan Serverless Resource Group dan konfigurasikan jaringan.

   • Siapkan Serverless Resource Group DataWorks dan bind ke ruang kerja target.

   • Pastikan resource group dapat mengakses port SSH server Git. Hanya port 22 yang didukung.

     • Repositori Git publik (misalnya, Apsara DevOps atau GitHub.com): Konfigurasikan Internet NAT Gateway dan Elastic IP Address (EIP) untuk Virtual Private Cloud (VPC) tempat resource group berada agar mendapatkan akses jaringan publik.

     • Repositori Git privat: Pastikan konektivitas jaringan antara VPC resource group dan server Git. Untuk detailnya, lihat VPC Peering Connection.

2. Siapkan sumber data OSS. Fitur sinkronisasi kode menggunakan OSS untuk penyimpanan sementara.

   • Buat OSS Bucket di wilayah yang sama dengan ruang kerja DataWorks.

   • Di halaman Data Sources ruang kerja DataWorks, buat sumber data OSS untuk bucket tersebut.

     Catatan

     Hanya sumber data yang menggunakan Access Key untuk otentikasi yang didukung. Pastikan kunci tersebut memiliki izin berikut: oss:GetObject, oss:ListObjects, oss:PutObject, dan oss:DeleteObject.

Langkah 2: Siapkan lingkungan Git

Di platform Git Anda, buat akun khusus, konfigurasikan kunci SSH, dan atur aturan perlindungan cabang.

1. Buat akun Git khusus dan hasilkan kunci SSH.

   1. Di platform Git Anda, seperti Apsara DevOps atau GitLab, buat akun khusus untuk komit kode otomatis, misalnya dataworks_pusher. Konfigurasikan email yang valid untuk akun ini.

   2. Hasilkan pasangan kunci SSH menggunakan algoritma RSA untuk akun ini. Jangan atur passphrase selama proses pembuatan.

      • Tujuan: Menghasilkan kunci publik dan kunci privat SSH untuk otentikasi.

      • Perintah:

        # Ganti "your_user_email@example.com" dengan email akun yang Anda konfigurasikan pada langkah sebelumnya.
        ssh-keygen -t rsa -C "your_user_email@example.com"
        
        # Saat diminta memasukkan passphrase, tekan Enter untuk melewati.
        # Enter passphrase (empty for no passphrase): [Enter]
        # Enter same passphrase again: [Enter]

      • Hasil: Setelah perintah berhasil dijalankan, file id_rsa (kunci privat) dan id_rsa.pub (kunci publik) dihasilkan di direktori ~/.ssh/. Anda akan memerlukan isi file-file ini pada langkah selanjutnya.

        # Salin dan simpan isi kunci publik dan privat. Anda akan memerlukannya di langkah berikutnya.
        cat ~/.ssh/id_rsa.pub
        cat ~/.ssh/id_rsa

2. Tambahkan kunci publik ke platform Git.

   Login ke platform Git Anda. Di halaman manajemen kunci SSH untuk akun dataworks_pusher, tambahkan kunci publik yang dihasilkan pada langkah sebelumnya (isi file id_rsa.pub).

3. Buat repositori kode dan konfigurasikan aturan perlindungan cabang.

   1. Buat repositori kode Git khusus untuk manajemen kode DataWorks, misalnya DataWorks_code.

   2. Di repositori tersebut, atur aturan perlindungan cabang untuk memastikan cabang yang dikelola otomatis oleh DataWorks tidak dimodifikasi secara langsung. Operasi ini harus dilakukan oleh administrator repositori.

      Penting

      Aturan perlindungan cabang yang dikonfigurasi secara salah dapat menyebabkan modifikasi tak terduga pada cabang yang dikelola DataWorks, sehingga mengganggu sinkronisasi.

      • Pola nama cabang: dataworks_*

      • Diizinkan untuk push: Pilih anggota tertentu dan tambahkan akun dataworks_pusher.

      • Diizinkan untuk merge: Pilih No one.

Langkah 3: Konfigurasikan dan inisialisasi sinkronisasi kode

Langkah 4: Verifikasi sinkronisasi kode

1. Buat node Shell baru di DataStudio dan beri nama shell_test.

2. Di editor kode, masukkan kode berikut dan klik tombol simpan di bilah alat.

   echo 'Code push test.'

3. Login ke Git, buka repositori target, dan pilih cabang simpan. Temukan folder shell_test. Anda akan melihat folder tersebut berisi tiga file: shell_test.sh (file kode), shell_test.spec.json (file konfigurasi penjadwalan), dan dataworks.properties (file variabel). Klik shell_test.sh untuk melihat node shell_test beserta isinya. Hal ini menunjukkan bahwa sinkronisasi berhasil.

4. Untuk memverifikasi sinkronisasi kedua cabang lainnya, terbitkan node tersebut ke lingkungan yang sesuai. Untuk informasi lebih lanjut tentang penerbitan, lihat Publish tasks.

Reverse merge

DataWorks tidak hanya mendukung sinkronisasi kode ke Git, tetapi juga menyediakan kemampuan reverse merge yang kuat. Anda dapat dengan mudah menggabungkan perubahan terbaru dari cabang Git jarak jauh kembali ke platform DataWorks.

Fitur ini kompatibel baik dengan cabang sinkronisasi utama maupun cabang fitur yang dibuat darinya. Developer dapat membuat cabang fitur dari cabang sinkronisasi utama untuk bekerja secara independen dalam pengembangan, pengujian, dan tinjauan kode. Mereka kemudian dapat menggabungkan kode yang telah matang kembali ke DataWorks dengan aman. Proses ini memungkinkan kolaborasi tim yang profesional dan efisien.

1. Titik masuk penggabungan

   Di antarmuka DataStudio > DataStudio Settings, perluas bagian Code Merge.

2. Pratinjau penggabungan

   Setelah Anda memasukkan nama cabang yang ingin digabungkan dan mengklik Merge Preview, sistem membandingkan konten yang ditambahkan, dimodifikasi, dan dihapus antara cabang sumber dan cabang save default DataWorks.

   • Tidak ada konflik: Antarmuka menampilkan diff perubahan, yang secara jelas mencantumkan node dan modifikasi kode yang akan ditambahkan, dimodifikasi, atau dihapus.

   • Konflik: Antarmuka memberi peringatan konflik dan menampilkan detail spesifik. Anda harus kembali ke lingkungan lokal, menyelesaikan konflik di Git, lalu mencoba penggabungan lagi.

   

3. Konfirmasi penggabungan

   1. Setelah memastikan pratinjau benar, klik Confirm Merge.

   2. Sistem memulai tugas penggabungan. Anda dapat melihat progres penggabungan secara real-time.

   3. Semua catatan penggabungan ditampilkan di area Code Merge History di bawah. Anda dapat melihat inisiator, status penggabungan, dan detail cabang untuk setiap catatan.

      

Cross-workspace merge

Fitur sinkronisasi Git memungkinkan Anda menggunakan kembali dan mendistribusikan seperangkat kode standar, atau "templat", di berbagai ruang kerja, bahkan di wilayah berbeda. Misalnya, Anda dapat dengan cepat menerapkan model analisis pengguna universal ke ruang kerja independen untuk berbagai lini bisnis, memungkinkan masing-masing menjalankannya di sumber daya komputasi dan sumber data khususnya sendiri.

1. Persiapan awal

   1. Buat dua proyek terpisah: git_cross_project_1 dan git_cross_project_2. Keduanya dapat berada di wilayah berbeda.

   2. Ikuti petunjuk di Langkah 1 untuk mengonfigurasi resource group dan sumber data OSS untuk setiap ruang kerja. Kedua sumber data dapat sama. Konfigurasikan juga konektivitas jaringan.

   3. Ikuti petunjuk di Langkah 2 untuk menyiapkan repositori kode Git tunggal yang akan dibagikan oleh kedua ruang kerja.

   4. Ikuti petunjuk di Langkah 3 untuk mengonfigurasi sinkronisasi Git untuk setiap ruang kerja, menggunakan alamat SSH dan kunci privat yang sama untuk keduanya. Pastikan inisialisasi berhasil untuk keduanya. Pada titik ini, cabang untuk kedua ruang kerja, 270256 (project1) dan 270257 (project2), akan muncul di repositori kode Git.

2. Strategi penggabungan lintas proyek

   1. Saat menggabungkan cabang kode lintas ruang kerja, hanya kode node, properti dasar, dan konfigurasi penjadwalan yang digabungkan. Konfigurasi eksekusi tidak digabungkan ke ruang kerja target.

   2. Karena kedua ruang kerja belum tentu memiliki konfigurasi yang sama untuk sumber daya komputasi, kelompok sumber daya, dan sumber data, Anda harus mengonfigurasi pemetaan sumber daya merge_mapping.

      1. Di mesin lokal Anda, buka terminal, clone repositori, lalu alihkan ke cabang simpan ruang kerja sumber (project1), misalnya, dataworks_cn_shenzhen_270256_save.

         # Clone repositori Git jarak jauh ke mesin lokal Anda.
         git clone git@your_git_server_domain:64dc86a16800a4a57137536/cross_project_shenzhen.git
         
         # Alihkan ke cabang simpan project1.
         git checkout <your_branch_name>

      2. Buat file merge_mapping.

         # `cross_project_shenzhen` adalah nama repositori kode.
         cd cross_project_shenzhen 
         
         # Buat direktori.
         mkdir -p DATAWORKS_SYSTEM_CONFIG/merge_mapping
         
         # Buat file pemetaan. Format nama file: <region>_<projectId>_to_<region>_<projectId>.properties
         vi DATAWORKS_SYSTEM_CONFIG/merge_mapping/cn_shenzhen_270256_to_cn_shenzhen_270257.properties

         Konfigurasikan isi file sesuai kebutuhan Anda, dan ubah nilai parameter di kedua sisi tanda =. Anda dapat menentukan beberapa parameter untuk setiap jenis.

         # Sumber Data
         # spec.datasource.name.<project1_data_source_name>=<project2_data_source_name>
         spec.datasource.name.mysql_01=mysql_02
         
         # Kelompok Sumber Daya
         # spec.runtimeResource.resourceGroup.<project1_resource_group_ID>=<project2_resource_group_ID>
         spec.runtimeResource.resourceGroup.group_524257424564736=Serverless_res_group_524257424564736_764027070300961
         
         # Awalan nama output node
         # spec.output-prefix.<project1_name>=<project2_name>
         spec.output-prefix.git_cross_project_1=git_cross_project_2
         
         # Awalan proyek untuk tabel di MaxCompute SQL
         # script.project-identifier.<project1_name>=<project2_name>
         script.project-identifier.git_cross_project_1=git_cross_project_2
         
         # Gambar
         # spec.script.runtime.container.imageId.<image_ID_used_in_project1>=<image_ID_used_in_project2>
         spec.script.runtime.container.imageId.Default=System_python311_ubuntu2204_20251201
         
         # Peran RAM
         # spec.script.runtime.linkedRoleArn.<ram_role_ARN_used_in_project1>=<ram_role_ARN_used_in_project2>
         spec.script.runtime.linkedRoleArn.acs:ram::1107550004253538:role/aliyundataworksaccessingenirole=acs:ram::1107550004253538:role/aliyundataworksaccessingossrole

         Dorong kode ke repositori Git.

         # Tambahkan perubahan di direktori saat ini ke Git.
         git add .
         # Komit file pemetaan.
         git commit -m "add mapping files"
         # Dorong konten cabang ke repositori Git jarak jauh.
         git push

   3. Gabungkan kode lintas proyek

      1. Buka DataStudio di ruang kerja target git_cross_project_2. Di panel navigasi kiri, klik DataStudio Settings, lalu temukan tab Code Merge.

      2. Di kotak input cabang, masukkan nama cabang simpan ruang kerja sumber, misalnya dataworks_cn_shenzhen_270256_save.

         

      3. Klik Merge Preview. Setelah memastikan perubahan benar, gabungkan kode dari ruang kerja git_cross_project_1 ke ruang kerja git_cross_project_2. Untuk detail operasi penggabungan, lihat Reverse merge.