DataWorks:Git コード同期とマージ

ステップ 1：クラウドリソースとネットワークの準備

コード同期タスクは Serverless Resource Group を使用して実行され、Git リポジトリおよび Object Storage Service (OSS) へのネットワークアクセスが必要です。

1. Serverless Resource Group を準備し、ネットワークを構成します。

   • DataWorks Serverless Resource Group を準備し、対象のワークスペースにバインドします。

   • リソースグループが Git サーバーの SSH ポートにアクセスできることを確認します。ポート 22 のみがサポートされています。

     • パブリック Git リポジトリ（例：Apsara DevOps または GitHub.com）：リソースグループが配置されている Virtual Private Cloud (VPC) に インターネット NAT Gateway および EIP を構成し、パブリックネットワークアクセスを有効にします。

     • 非公開 Git リポジトリ：リソースグループの VPC と Git サーバーとのネットワーク接続を確保します。詳細については、「VPC Peering Connection」をご参照ください。

2. OSS データソースを準備します。 コード同期機能では OSS を一時ストレージとして使用します。

   • DataWorks ワークスペースと同じリージョンに OSS バケット を作成します。

   • DataWorks ワークスペースの データソース ページで、そのバケット用の OSS データソース を作成します。

     説明

     Access Key を使用した認証を行うデータソースのみがサポートされています。キーには、次の権限が付与されている必要があります：oss:GetObject、oss:ListObjects、oss:PutObject、および oss:DeleteObject。

ステップ 2：Git 環境の準備

ご利用の Git プラットフォームで専用アカウントを作成し、SSH キーを構成して、ブランチ保護ルールを設定します。

1. 専用 Git アカウントを作成し、SSH キーを生成します。

   1. Apsara DevOps や GitLab などの Git プラットフォームで、自動コードコミット用の専用アカウント（例：dataworks_pusher）を作成します。このアカウントに有効なメールアドレスを設定します。

   2. このアカウント用に RSA アルゴリズム を使用して SSH キーペアを生成します。生成時にパスフレーズは設定しないでください。

      • 目的：認証用の SSH 公開鍵および秘密鍵を生成します。

      • コマンド：

        # "your_user_email@example.com" を前のステップで設定したアカウントのメールアドレスに置き換えます。
        ssh-keygen -t rsa -C "your_user_email@example.com"
        
        # パスフレーズの入力が求められた場合は、Enter キーを押してスキップします。
        # Enter passphrase (empty for no passphrase): [Enter]
        # Enter same passphrase again: [Enter]

      • 結果：コマンドが正常に実行されると、id_rsa（秘密鍵）および id_rsa.pub（公開鍵）ファイルが ~/.ssh/ ディレクトリに生成されます。これらのファイルの内容は以降のステップで必要になります。

        # 公開鍵および秘密鍵の内容をコピーして保存します。後続のステップで必要になります。
        cat ~/.ssh/id_rsa.pub
        cat ~/.ssh/id_rsa

2. 公開鍵を Git プラットフォームに追加します。

   ご利用の Git プラットフォームにログインし、dataworks_pusher アカウントの SSH キー管理ページで、前のステップで生成した公開鍵（id_rsa.pub ファイルの内容）を追加します。

3. コードリポジトリを作成し、ブランチ保護ルールを構成します。

   1. DataWorks コード管理専用の Git コードリポジトリ（例：DataWorks_code）を作成します。

   2. リポジトリ内で、DataWorks が自動管理するブランチが直接変更されないようにブランチ保護ルールを設定します。この操作はリポジトリ管理者が行う必要があります。

      重要

      ブランチ保護ルールが正しく構成されていない場合、DataWorks が管理するブランチが意図せず変更され、同期が中断される可能性があります。

      • ブランチ名パターン：dataworks_*

      • プッシュを許可するユーザー：特定のメンバーを選択し、dataworks_pusher アカウントを追加します。

      • マージを許可するユーザー：なし を選択します。

ステップ 3：コード同期の構成と初期化

ステップ 4：コード同期の検証

1. DataStudio で新しい Shell ノードを作成し、shell_test と名付けます。

2. コードエディタで次のコードを入力し、ツールバーの保存ボタンをクリックします。

   echo 'Code push test.'

3. Git にログインし、対象のリポジトリに移動して保存ブランチを選択します。shell_test フォルダを探します。このフォルダには、shell_test.sh (コードファイル)、shell_test.spec.json (スケジューリング構成ファイル)、および dataworks.properties (変数ファイル) の 3 つのファイルが含まれていることを確認できます。shell_test.sh をクリックして shell_test ノードとそのコード内容を確認します。これにより、同期が成功したことが示されます。

4. 他の 2 つのブランチの同期を検証するには、ノードを対応する環境に公開します。公開の詳細については、「タスクの公開」をご参照ください。

逆方向マージ

DataWorks はコードを Git に同期するだけでなく、強力な逆方向マージ機能も提供します。リモート Git ブランチからの最新の変更を DataWorks プラットフォームに簡単にマージできます。

この機能は、メインの同期ブランチおよびそこから作成されたフィーチャーブランチの両方と互換性があります。開発者は、メインの同期ブランチからフィーチャーブランチを作成し、開発、テスト、コードレビューを独立して行えます。その後、完成したコードを安全に DataWorks にマージできます。このプロセスにより、プロフェッショナルで効率的なチームコラボレーションが実現します。

1. マージのエントリーポイント

   DataStudio > DataStudio 設定項目 インターフェイスで、コードマージ セクションを展開します。

2. マージプレビュー

   マージしたいブランチ名を入力して [マージプレビュー] をクリックすると、システムはソースブランチと DataWorks のデフォルトの save ブランチとの間で追加、変更、削除された内容を比較します。

   • コンフリクトなし：インターフェイスに変更の差分が表示され、追加、変更、または削除されるノードおよびコードの修正内容が明確に一覧表示されます。

   • コンフリクトあり：インターフェイスにコンフリクトの警告と具体的な詳細が表示されます。ローカル環境に戻り、Git でコンフリクトを解決してから、再度マージを試行する必要があります。

   

3. マージの確定

   1. プレビュー内容が正しいことを確認したら、マージを確定 をクリックします。

   2. システムがマージタスクを開始します。マージの進捗状況をリアルタイムで確認できます。

   3. すべてのマージレコードは、下部の コードマージ履歴 エリアに表示されます。各レコードの開始者、マージステータス、ブランチの詳細を確認できます。

      

ワークスペース間マージ

Git 同期機能により、標準化されたコードセット（「テンプレート」）を複数のワークスペース（異なるリージョンであっても）で再利用および配布できます。たとえば、ユニバーサルなユーザーアナリティクスモデルをさまざまなビジネスライン向けの独立したワークスペースに迅速にデプロイし、各ワークスペースで専用の計算リソースおよびデータソースを使用して実行できます。

1. 初期設定

   1. 2 つの別々のプロジェクト（git_cross_project_1 および git_cross_project_2）を作成します。これらは異なるリージョンに配置できます。

   2. ステップ 1 の手順に従い、各ワークスペースのリソースグループおよび OSS データソースを構成します。2 つのデータソースは同一でも構いません。また、ネットワーク接続も構成します。

   3. ステップ 2 の手順に従い、両方のワークスペースで共有される単一の Git コードリポジトリを準備します。

   4. ステップ 3 の手順に従い、両方のワークスペースで Git 同期を構成します。両方に同じ SSH アドレスおよび秘密鍵を使用します。両方の初期化が成功していることを確認します。この時点で、Git コードリポジトリ内に両方のワークスペース（270256（プロジェクト 1）および 270257（プロジェクト 2））に対応するブランチが表示されます。

2. プロジェクト間マージ戦略

   1. ワークスペース間でコードブランチをマージする際、ノードコード、基本プロパティ、およびスケジューリング構成のみがマージされます。実行構成は対象ワークスペースにマージされません。

   2. 2 つのワークスペースの計算リソース、リソースグループ、およびデータソースの構成が必ずしも同一ではないため、リソースマッピング merge_mapping を構成する必要があります。

      1. ローカルマシンでターミナルを開き、リポジトリをクローンしてから、ソースワークスペース（プロジェクト 1）の保存ブランチ（例：dataworks_cn_shenzhen_270256_save）に切り替えます。

         # リモート Git リポジトリをローカルマシンにクローンします。
         git clone git@your_git_server_domain:64dc86a16800a4a57137536/cross_project_shenzhen.git
         
         # プロジェクト 1 の保存ブランチに切り替えます。
         git checkout <your_branch_name>

      2. merge_mapping ファイルを作成します。

         # `cross_project_shenzhen` はコードリポジトリの名前です。
         cd cross_project_shenzhen 
         
         # ディレクトリを作成します。
         mkdir -p DATAWORKS_SYSTEM_CONFIG/merge_mapping
         
         # マッピングファイルを作成します。ファイル名の形式は：<region>_<projectId>_to_<region>_<projectId>.properties
         vi DATAWORKS_SYSTEM_CONFIG/merge_mapping/cn_shenzhen_270256_to_cn_shenzhen_270257.properties

         要件に基づいてファイル内容を構成し、= 記号の両側のパラメーター値を変更します。各タイプに対して複数のパラメーターを指定できます。

         # データソース
         # spec.datasource.name.<project1_data_source_name>=<project2_data_source_name>
         spec.datasource.name.mysql_01=mysql_02
         
         # リソースグループ
         # spec.runtimeResource.resourceGroup.<project1_resource_group_ID>=<project2_resource_group_ID>
         spec.runtimeResource.resourceGroup.group_524257424564736=Serverless_res_group_524257424564736_764027070300961
         
         # ノード出力名プレフィックス
         # spec.output-prefix.<project1_name>=<project2_name>
         spec.output-prefix.git_cross_project_1=git_cross_project_2
         
         # MaxCompute SQL 内のテーブルのプロジェクトプレフィックス
         # script.project-identifier.<project1_name>=<project2_name>
         script.project-identifier.git_cross_project_1=git_cross_project_2
         
         # イメージ
         # spec.script.runtime.container.imageId.<project1 で使用される image_ID>=<project2 で使用される image_ID>
         spec.script.runtime.container.imageId.Default=System_python311_ubuntu2204_20251201
         
         # RAM ロール
         # spec.script.runtime.linkedRoleArn.<project1 で使用される ram_role_ARN>=<project2 で使用される ram_role_ARN>
         spec.script.runtime.linkedRoleArn.acs:ram::1107550004253538:role/aliyundataworksaccessingenirole=acs:ram::1107550004253538:role/aliyundataworksaccessingossrole

         コードを Git リポジトリにプッシュします。

         # 現在のディレクトリ内の変更を Git に追加します。
         git add .
         # マッピングファイルをコミットします。
         git commit -m "add mapping files"
         # ブランチの内容をリモート Git リポジトリにプッシュします。
         git push

   3. プロジェクト間でコードをマージします

      1. 対象ワークスペース git_cross_project_2 の DataStudio に移動します。左側のナビゲーションウィンドウで DataStudio 設定項目 をクリックし、コードマージ タブを見つけます。

      2. ブランチ入力ボックスに、ソースワークスペースの保存ブランチ名（例：dataworks_cn_shenzhen_270256_save）を入力します。

         

      3. [マージプレビュー] をクリックします。変更内容が正しいことを確認した後、ワークスペース git_cross_project_1 からワークスペース git_cross_project_2 にコードをマージします。マージ操作の詳細については、「逆方向マージ」をご参照ください。