DataWorks:Git のコード同期とマージ

概要

DataWorks と Git の連携には、2 つのフローがあります：

• DataWorks から Git への同期：DataWorks でコードを保存または公開すると、変更は Git リポジトリの保護されたブランチに自動的にコミットされます。このプロセスは、専用の Git アカウントとネットワークアクセスを持つ Serverless リソースグループによって自動的に実行されます。

• Git から DataWorks へのマージ：Git リポジトリのメインブランチや他のブランチから、コードの変更を DataWorks にマージします。

DataWorks は、Git リポジトリ内で以下の 3 つのブランチを自動的に作成および管理します。手動での変更を防ぐために、ブランチ保護ルールが使用されます：

• dataworks_${region}_${projectName}_save：DataWorks での保存操作後のコードに対応します。

• dataworks_${region}_${projectName}_release_dev：開発環境に正常に公開されたコードに対応します。

• dataworks_${region}_${projectName}_release_prod：本番環境に正常に公開されたコードに対応します。

ステップ 1：クラウドリソースとネットワーク環境の準備

コード同期タスクは、実行のために Serverless リソースグループに依存し、Git リポジトリと OSS へのネットワークアクセスが必要です。

1. Serverless リソースグループを準備し、ネットワークを設定します。

   • DataWorks の Serverless リソースグループを準備し、対象のワークスペースにアタッチします。

   • リソースグループが Git サーバーの SSH ポートにアクセスできることを確認してください。ポート 22 のみがサポートされています。

     • パブリック Git リポジトリ (Apsara DevOps CodeUp や GitHub.com など)：リソースグループが属する VPC にインターネット NAT ゲートウェイと EIP を設定し、パブリックネットワークアクセスを有効にします。

     • プライベート Git リポジトリ：リソースグループと Git サーバー間のプライベートネットワーク (VPC) 経由での接続性を確保します。詳細については、「VPC ピアリング接続」をご参照ください。

2. OSS データソースを準備します。コード同期機能は、一時ストレージとして OSS を使用します。

   • DataWorks ワークスペースと同じリージョンに OSS バケットを作成します。

   • DataWorks ワークスペースの [データソース] ページで、そのバケットを指す OSS データソースを作成します。

     説明

     AccessKey ペアを使用するデータソースのみがサポートされています。

ステップ 2：Git 環境の準備

ご利用の Git プラットフォームで、専用アカウントの作成、SSH キーの設定、ブランチ保護ルールの設定を行います。

1. 専用の Git アカウントを作成し、SSH キーを生成します。

   1. Apsara DevOps や GitLab などの Git プラットフォームで、コードの自動コミット用に専用アカウント (例：dataworks_pusher) を作成します。このアカウントに有効なメールボックスを設定します。

   2. このアカウント用に RSA アルゴリズムを使用して SSH キーペアを生成します。生成中にパスフレーズは設定しないでください。

      • 目的：認証用の SSH 公開鍵と秘密鍵を生成します。

      • コマンド：

        # "your_user_email@example.com" を前のステップで設定したアカウントのメールアドレスに置き換えます
        ssh-keygen -t rsa -C "your_user_email@example.com"
        
        # パスフレーズを求められたら、Enter キーを押してスキップします
        # Enter passphrase (empty for no passphrase): [Enter]
        # Enter same passphrase again: [Enter]

      • 結果：コマンドが正常に実行されると、~/.ssh/ フォルダと id_rsa (秘密鍵) および id_rsa.pub (公開鍵) ファイルが生成されます。これらのファイルの内容は、後続のステップで使用します。

        # 公開鍵と秘密鍵の内容をコピーして保存します。後続のステップで必要になります。
        cat ~/.ssh/id_rsa.pub
        cat ~/.ssh/id_rsa

2. Git プラットフォームに公開鍵を追加します。

   Git プラットフォームにログインします。dataworks_pusher アカウントの SSH キー管理ページで、前のステップで生成した公開鍵 ( id_rsa.pub ファイルの内容) を追加します。

3. コードリポジトリを作成し、ブランチ保護ルールを設定します。

   1. DataWorks のコード管理専用の Git リポジトリ (例：DataWorks_code) を作成します。

   2. リポジトリでブランチ保護ルールを設定し、DataWorks によって自動管理されるブランチが直接変更されないようにします。この操作はリポジトリ管理者が行う必要があります。

      重要

      ブランチ保護ルールが正しく設定されていない場合、DataWorks によって自動管理されるブランチが予期せず変更される可能性があります。これにより、同期が中断されることがあります。

      • ブランチ名のパターン：dataworks_*

      • プッシュを許可：特定のメンバーを選択し、dataworks_pusher アカウントを追加します。

      • マージを許可：[誰も許可しない] を選択します。

ステップ 4：コード同期の検証

1. 新しい DataStudio の Shell ノードを作成し、shell_test という名前を付けます。

2. コードエディタページで、以下のコードを入力し、ツールバーの保存ボタンをクリックします。

   echo 'Code push test.'

3. Git にログインし、対象のリポジトリに移動して、保存ブランチを選択します。shell_test フォルダを見つけます。フォルダ内には shell_test.sh (コードファイル) と shell_test.spec.json (スケジューリング設定ファイル) の 2 つのファイルが表示されます。shell_test.sh をクリックして、shell_test ノードとそのコード内容を表示します。これにより、同期が成功したことが示されます。

4. 他の 2 つのブランチの同期を検証するには、ノードを対応する環境に公開します。公開の詳細については、「同一ワークスペース内での公開」をご参照ください。

複数人での共同作業の有効化：Git ブランチからの逆マージのサポート

DataWorks は、コードを Git に同期するだけでなく、強力な逆マージ機能も提供します。リモートの Git ブランチからの最新の変更を DataWorks プラットフォームにマージして戻すことができます。

この機能は、メイン同期ブランチとそこから作成されたフィーチャーブランチの両方と互換性があります。開発者は、メイン同期ブランチの開発パラダイムに従い、独立したブランチで開発、テスト、コードレビューを行い、完成したコードを DataWorks に統合できます。これにより、プロフェッショナルで効率的なチームコラボレーションが可能になります。

1. マージのエントリポイント

   DataStudio インターフェイスの左側のナビゲーションウィンドウで、 [コードマージ] をクリックしてコードマージインターフェイスに移動します。

2. マージプレビュー

   ソースブランチの名前を入力し、[マージプレビュー] をクリックします。システムはソースブランチとデフォルトの DataWorks save ブランチを比較し、新規、変更、削除された内容を特定します。

   • 競合なし：インターフェイスに変更の差分が表示され、追加、変更、または削除されるノードとコードの変更が明確にリストされます。

   • 競合あり：インターフェイスに競合が通知され、その詳細が表示されます。ローカル環境に戻り、Git で競合を手動で解決してから、再度マージを開始する必要があります。

   

3. マージの確認

   1. プレビューを確認した後、[マージの確認] をクリックします。

   2. システムがマージタスクを開始します。マージの進行状況をリアルタイムで確認できます。

   3. すべての過去のマージ履歴は、下の [コードマージ履歴] エリアに表示されます。担当者、マージステータス、ブランチの詳細をいつでも確認できます。

      

課金

課金対象のリソースは以下の通りです：

• Serverless リソースグループ：同期タスクは 0.5 CU のリソース仕様を使用します。料金は購入したリソースグループの課金方法によって異なります。詳細については、「Serverless リソースグループの課金」をご参照ください。

• インターネット NAT ゲートウェイと EIP：Git リポジトリがパブリックネットワーク上にある場合、対応するトラフィック料金が発生します。詳細については、「NAT ゲートウェイの課金」をご参照ください。

• OSS ストレージ：コード同期データの保存に使用されます。ストレージ容量とリクエスト数に基づいて課金されます。詳細については、「OSS の課金概要」をご参照ください。

よくある質問

• Q：初期化は成功しましたが、Git リポジトリにブランチが作成されません。どうすればよいですか？

  A：「接続性のテスト」セクションの手順に従って、telnet と SSH 接続が成功するかどうかを確認してください。Serverless リソースグループのネットワーク設定 (NAT ゲートウェイ/VPC) が正しいことを確認してください。

• Q：コードのマージ時に競合が報告されました。どのように対処すればよいですか？

  A：ローカルの開発環境で、DataWorks の保存ブランチ (dataworks_${region}_${projectName}_save) をローカル環境にプルします。`git merge` または `git rebase` を使用して、開発ブランチとマージします。競合を解決した後、開発ブランチをリモートリポジトリにプッシュします。最後に、DataWorks ページに戻り、再度マージを開始します。