このトピックでは、Dataphin Manager を使用して、半ダウンタイムまたはダウンタイム方式で Dataphin のバージョンをアップグレードする方法について説明します。 - Dataphin

このトピックでは、Dataphin Manager を使用して、ダウンタイムまたは半ダウンタイム方式で Dataphin のバージョンをアップグレードする方法について説明します。

前提条件

バージョンアップグレードによる影響範囲を理解しています。詳細については、「バージョンアップグレードによる影響範囲」をご参照ください。
構成変更またはアップグレードが実行中ではありません。アップグレードが実行中の場合は、完了を待ってください。必要に応じて、新しいアップグレードを開始する前に、現在実行中のアップグレードを強制停止できます。

背景情報

Dataphin の半ダウンタイムまたはダウンタイムアップグレードは、主に「バージョンとアップグレード方式の選択」「アップグレードの実行」「アップグレード結果の検証」の 3 つのステップで構成されます。アップグレード中は、アップグレードメンテナンスモードへ移行する必要があります。半ダウンタイムモードでは、アプリケーションのアップグレード完了後にユーザーが Dataphin にログインできます。ダウンタイムモードでは、ユーザーは Dataphin にログインできません。

現在の Dataphin インスタンスのバージョンが V5.1.1 より前の場合、サポートされるのは ダウンタイムアップグレード および ゼロダウンタイムアップグレード のみです。現在のバージョンが V5.1.1 以降の場合、半ダウンタイムアップグレード、ダウンタイムアップグレード、ゼロダウンタイムアップグレード のすべてがサポートされます。以下のフローチャートに、半ダウンタイムおよびダウンタイムアップグレードの全体プロセスを示します。

アップグレード停止：「実行中のタスクの強制停止」または「アプリケーションがまだ停止されていない」ステージ中にアップグレードを停止できます。これは、システムがダウンタイムステージに入っているものの、シャットダウンがまだ開始されていない状態を意味します。アップグレードを停止すると、システムはタスク送信を再開し、アップグレードメンテナンスモードから退出します。強制停止されたインスタンスを自動的に再実行するかどうかを選択できます。自動再実行を選択しない場合、後ほどタスク運用・保守（O&M）モジュールで手動で再実行できます。
アップグレードの強制停止：アップグレード開始後の任意のステージで強制停止できます。これには、実行中のタスクの強制停止、シャットダウン、事前アップグレード、データベースバックアップ、アプリケーションアップグレード、タスク再実行、データ更新などが含まれます。ただし、強制停止後はシステムが自動的に復旧しません。このため、Dataphin が利用不可になる可能性があります。したがって、アップグレードの強制停止を行う前に、アップグレードまたはロールバックを手動で完了済みであることを確認してください。この操作の確認および実行は、専門の O&M エンジニアのみが行うことを推奨します。

操作手順

ステップ 1：バージョンおよびアップグレード方式の選択

Dataphin のログイン URL に /opsconsole/v2 を追加して、Dataphin Manager のログインページを開きます。
Dataphin Manager のログインページで、ユーザー名 および パスワード を入力し、ログイン をクリックします。ユーザー名およびパスワードは、Dataphin 運用担当者から取得できます。
Dataphin Manager のホームページで、システム構成 をクリックします。
アップグレード履歴 ページで、Dataphin のアップグレード をクリックします。

Dataphin のアップグレードページで、バージョンおよびアップグレード方式を選択します。以下の表にパラメーターを示します。

パラメーター		説明
アップグレード構成	対象バージョン	バージョン一覧から対象バージョンを選択します。バージョン一覧に目的のバージョンが含まれていない場合は、バージョン構成のアップロードをクリックして、対象バージョンの構成ファイルをアップロードします。構成ファイルをアップロード後、システムは構成ファイルの検証を実行します。構成ファイルの内容が不正な場合、検証に失敗し、エラー原因とともにエラーが報告されます。構成ファイルが検証を通過し、かつシステムにそのバージョンの構成ファイルが既に存在しない場合、アップロードを続行するとバージョン構成がインポートされます。構成ファイルが検証を通過し、かつシステムにそのバージョンの構成ファイルが既に存在する場合、アップロードを続行するとシステム構成が上書きされます。
	構成ファイル	標準構成：YAML または ZIP 形式の構成ファイルをアップロードするには、ファイルのアップロードをクリックします。アップロード後に構成ファイルをダウンロードできます。構成ファイルをアップロード後、システムは構成ファイルの検証を実行します。構成ファイルにすべての設定項目が含まれていない場合、システムはエラーを報告します。エラーメッセージ内の詳細の表示をクリックすると、不足している設定項目の一覧を確認できます。非標準構成：ファイルをアップロードする前に、Dataphin O&M チームに連絡して、ZIP 形式の必要な構成ファイルを取得してください。その後、ファイルのアップロードをクリックしてファイルをアップロードします。ファイルをアップロード後、システムは以下のチェックを自動的に実行します：標準バージョン構成テンプレート（product/dataphin/...）とアップロードされた構成ファイル内のバージョン構成が一致しているかを MD5 検証で確認します。一致しない場合、システムは「ファイル内の構成テンプレートが選択されたバージョンと互換性がありません」と警告します。アップグレードを継続する前に、Dataphin O&M チームに確認することを推奨します。構成ファイル内のオーバーレイファイルおよびvalues.yaml ファイルが、標準バージョン構成テンプレート（product/dataphin/...）と互換性があるかを確認します。互換性がない場合、システムはこのアップグレードをブロックし、「ファイル内の構成情報が選択されたバージョンと互換性がありません」と警告します。Dataphin O&M チームに確認することをお勧めします。構成ファイル内の values.yaml ファイルが、ご利用の現在のオンライン環境で実行中の values.yaml ファイルと一致しているかを確認します。一致しない場合、システムは「ファイル内の構成情報が現在のオンライン構成と一致していません」と警告します。アップグレードを続行すると、新しい構成ファイルが使用されます。説明特別な事情がない限り、非標準構成は使用しないでください。
	アップグレード方式	半ダウンタイムアップグレードまたはダウンタイムアップグレードを選択します。アップグレード中は DataService Studio が引き続きアクティブであり、DataService Studio API への同期呼び出しも利用可能です。現在の Dataphin バージョン番号と対象バージョン番号の先頭 3 桁が同じ場合を除き、他のすべてのアップグレードパスでは半ダウンタイムアップグレードを使用することを推奨します。半ダウンタイムアップグレード：スケジューリングのダウンタイムを大幅に短縮でき、実行中のタスクを停止する必要はありません。ダウンタイムアップグレード：アップグレード中にタスクスケジューリングを一時停止し、実行中のタスクを停止する必要があります。説明半ダウンタイムまたはダウンタイムアップグレード中、StarRocks、MaxCompute、Databricks、OceanBase データソースに関連する DataService Studio API への非同期呼び出しを行った場合でも、DataService Studio は引き続きアクティブであり、呼び出し可能です。システムは、現在のバージョンと対象バージョン間の互換性をチェックして、ゼロダウンタイムアップグレードがサポートされているかどうかを判断します。ゼロダウンタイムアップグレードがサポートされていない場合、デフォルトでダウンタイムアップグレードが選択されます。
アナウンス構成	予定完了時間	アップグレードメンテナンスモードから退出する予定時間を選択します。デフォルトは現在時刻です。時間形式は YYYY-MM-DD hh:mm です。
	連絡先メールアドレス	アップグレード中に連絡可能な担当者のメールアドレスです。
	連絡先電話番号	アップグレード中に連絡可能な担当者の電話番号です。固定電話または携帯電話のいずれかを指定できます。

リスク宣言のチェックボックスを選択し、アップグレードメンテナンスモードへ移行 をクリックします。
アップグレードメンテナンスモードへ移行 をクリックすると、システムは時刻を記録します。その後、以下の処理を実行します：
- 現在の構成を保存し、アップグレード履歴に「アップグレード中」のステータスでレコードを作成します。この時点で、新しいアップグレードプロセスを開始することはできません。
- 定期タスクのディスパッチを一時停止します。アップグレード完了後、タスクディスパッチは再開されます：
  開発／本番環境：タスクスケジューリング＝無効、タスク実行＝有効
  説明
  - スケジュールスイッチ：定期タスクのスケジューリングを制御します。このスイッチが無効の場合、新規の定期タスクはディスパッチされません。すでに実行中のタスクインスタンスは引き続き実行されます。データバックフィルタスクおよびアドホッククエリには影響しません。
  - 実行スイッチ：リソーススケジューリングのためのタスクディスパッチを制御します。このスイッチは、データバックフィルタスク、定期タスク、アドホッククエリに影響します。このスイッチが無効の場合、開始されていないインスタンスはディスパッチされません。すでに実行中のタスクインスタンスは引き続き実行されます。
  開発環境では、スケジュールスイッチはデフォルトで無効になっており、有効化できません。
- フロントエンドがアップグレードメンテナンスモードに入り、操作が一切禁止されます。
保存をクリックすると、システムはアップグレード履歴リストに「構成中」のステータスでレコードを作成します。リスト内の「アップグレードの継続」をクリックして編集できます。

ステップ 2：アップグレードの開始

半ダウンタイムアップグレード

Database Backup
- 自主管理 PostgreSQL データベースを使用する場合
  バックアップ開始 をクリックします。データベースバックアップのステータスが バックアップ中 の場合、次へをクリックできます。
  データベースバックアップのステータスは、「未バックアップ」「開始中」「バックアップ中」「バックアップ完了」「バックアップ失敗」です。
- RDS またはその他のデータベースタイプを使用する場合
  RDS データベースを使用する場合は、RDS コンソールでバックアップを実行する必要があります。RDS バックアップへ移動 をクリックして RDS データベースコンソールを開きます。
  リスク宣言のチェックボックスを選択し、次へをクリックすることで、データベースバックアップステップをスキップできます。
説明
データベースバックアップのステータスはアップグレードタスクに影響しません。データベースバックアップが完了していなくても、アップグレードは完了できます。アップグレードを強制停止した場合、データベースバックアッププロセスは継続され、影響を受けません。
事前アップグレード
事前アップグレード開始 をクリックします。すべてのアプリケーションが事前アップグレードプロセスを開始します。進行状況バーが完了率を表示します。下部のサービス一覧には、各サービスの具体的な事前アップグレードステータスが表示されます。事前アップグレードが完了したら、次へをクリックします。
アプリケーションアップグレード
アップグレード開始 をクリックします。確認ダイアログボックスで OK をクリックします。システムはスケジューリングを停止します（実行中のタスクには影響しません）し、アップグレードを開始します。所要時間は約 30 分です。アプリケーションアップグレードステップが成功した後、アップグレードメンテナンスモードから退出して次へ をクリックします。これによりメンテナンスモードから退出し、タスク送信の再開およびメンテナンスモードからの退出時刻が記録されます。アプリケーションアップグレードステップが失敗した場合は、Dataphin O&M エンジニアに連絡してください。この時点ではアップグレードメンテナンスモードから退出できません。
説明
メンテナンスモードから退出後、システムはスケジューリングを再開し、通常通りアクセス可能になります。ただし、これはアップグレードが完了したことを意味するものではありません。引き続きデータ更新ステップを実行する必要があります。
システムはアプリケーションを起動します。DataService Studio のオンライントランザクショナル処理（OLTP）アプリケーションはローリングアップグレードを実行します。これは、新バージョンを起動し、徐々に旧バージョンを置き換えるプロセスです。アップグレードステータスの進行状況バーは、起動の進捗およびステータスを表示します。アプリケーションが起動（アップグレード）された後、プロセスは自動的に次のステップに進みます。
リソースが十分な場合、OLTP、mgmt、Gateway アプリケーションの新バージョンは、旧バージョンが停止される前に起動されます。リソースが不足している場合、一時的にアプリケーションが利用できない状態になることがあります。mgmt アプリケーションが起動された後、DataService Studio の OLTP および Gateway アプリケーションは個別にアップグレードする必要があります。
一部のアプリケーションのアップグレードに失敗した場合、Java スレッドダンプ をクリックして問題を診断したり、再起動 をクリックしてアプリケーションの Java プロセスを再起動できます。アプリケーションアップグレードが成功したかどうかにかかわらず、ページ右上隅の ログの表示 をクリックして、アプリケーションアップグレードの詳細ログを表示できます。
データ更新
更新して次へ をクリックします。システムは、正常に実行されなかったすべてのデータ更新タスクを自動的に実行します。データ更新一覧には、実行不要なタスク（非ブロッキングタスク）は含まれません。すでに実行中または正常に実行済みのタスクは再実行されません。失敗または未実行のタスクが実行されます。
実行をクリックしてタスクを開始できます。必要に応じて、停止をクリックして実行中のタスクを停止できます。実行および停止は、どちらもバッチ操作をサポートします。タスクのステータスが「成功」「実行中」「停止」「失敗」のいずれかの場合、ログの詳細 をクリックして、タスクの運用ログを表示できます。
アセットリフレッシュタスク の場合、アセットリフレッシュの詳細 を表示できます。アップグレード後にメタデータ形式が変更された場合、アセットメタデータのアップグレードが必要です。アセットメタデータはメッセージのトリガーによってアップグレードされます。アセットリフレッシュの詳細には、メッセージ総数、残りメッセージ数、成功メッセージ数、失敗メッセージ数が含まれます。メッセージ総数は、初期段階で各アプリケーションが報告した合計です。失敗メッセージ数は、処理に失敗したメッセージの数です。データ更新中に失敗メッセージが発生した場合、Dataphin O&M チームがそれらを無視できるかどうかを確認した上で、アップグレードを継続してください。
メタデータ取得タスク の場合、手動でタスクを開始し、そのステータスおよびログの詳細を表示できます。ログにはワークフロー総数および完了済みワークフロー数が含まれます。アップグレード中、既存の取得インスタンスは変更されず、最新の実行コードを使用します。インスタンスにスケジューリングの変更が含まれる場合、その変更はアップグレード完了日の翌日から有効になります。

説明

アップグレード中は、アップグレードの強制停止 をいつでもクリックしてアップグレードを停止できます。ただし、強制停止後はシステムが自動的に復旧しないため、Dataphin が利用不可になる可能性があります。強制停止を行う前に、アップグレードまたはロールバックを手動で完了済みであることを確認してください。この操作の確認および実行は、専門の O&M エンジニアのみが行うことを推奨します。アップグレードを強制停止すると、アップグレードステータスを「成功」または「失敗」に設定できます。いずれの場合でも、システムは強制完了時刻を記録し、アップグレード履歴リストにレコードを追加します。

ダウンタイムアップグレード

説明

ログの表示 をクリックして、サービス起動ログを表示できます。

実行中のタスクの強制停止
1. 実行中のタスク 一覧から、1 つ以上のタスクを選択して強制停止します。すべてのタスクを強制停止するには、すべてのタスクを強制停止して次へ をクリックします。強制停止されたタスクは、アップグレード後に再実行できます。タスクを再実行できない場合は、完了を待つことを推奨します。その後、停止済みタスク一覧 を表示します。強制停止されたタスク一覧に表示されたタスクは、アプリケーションアップグレード後に再実行する必要があります。すべてのタスクが強制停止されると、システムは完了時刻を記録します。
  強制停止 をクリックすると、対応するタスクがタスク一覧から削除され、停止済みタスク一覧に追加されます。タスクが強制停止される前に完了または失敗した場合、タスク一覧には記録されません。
  説明
  - 実行中のタスク一覧が空になった場合（つまり、すべてのタスクが強制停止されたか、実行が完了した場合）のみ、次のステップに進むことができます。タスクの強制停止に失敗した場合、エラーが報告されます。エラーメッセージ内の「再試行」をクリックして再度試行できます。タスク一覧は 20 秒ごとに自動更新されます。
  - 強制停止されたタスクは、タスク再実行 ステップで手動で再実行する必要があります。
2. （任意）必要に応じて、アップグレード履歴一覧からアップグレードを停止できます。
シャットダウン
シャットダウンして次へ をクリックして、実行中のすべての Pod をシャットダウンします。進行状況バーがシャットダウンの進捗を表示します。
アップグレード中は DataService Studio が引き続きアクティブです。Pod 一覧には、DataService Studio を除くすべてのアプリケーション Pod のステータスが表示されます。
Database Backup
バックアップして次へ をクリックして、データバックアップを開始します。バックアップが完了すると、プロセスは自動的に次のステップに進みます。
進行状況バーがバックアップの進捗を表示します。データベースバックアップが失敗した場合、ログの表示 をクリックして失敗ログを確認するか、再バックアップ をクリックして単一のデータベースを再度バックアップできます。再バックアップをクリックすると、そのデータベースのバックアップステータスがリセットされます。必要に応じて、強制停止 をクリックして、バックアップ中のデータベースを停止できます。
説明
- リスク宣言のチェックボックスを選択して、データベースバックアップステップをスキップできます。
- RDS データベースを使用する場合は、RDS コンソールでバックアップを実行する必要があります。RDS バックアップへ移動 をクリックして RDS データベースコンソールを開きます。
アプリケーションアップグレード
アプリケーションのアップグレードと次へ をクリックしてアプリケーションを起動します。DataService Studio の OLTP アプリケーションはローリングアップグレードを実行します。これは、新バージョンを起動し、徐々に旧バージョンを置き換えるプロセスです。アップグレードステータスの進行状況バーは、起動の進捗およびステータスを表示します。アプリケーションが起動（アップグレード）された後、プロセスは自動的に次のステップに進みます。
リソースが十分な場合、OLTP、mgmt、Gateway アプリケーションの新バージョンは、旧バージョンが停止される前に起動されます。リソースが不足している場合、一時的にアプリケーションが利用できない状態になることがあります。mgmt アプリケーションが起動された後、DataService Studio の OLTP および Gateway アプリケーションは個別にアップグレードする必要があります。
アプリケーションアップグレードステップのサービス一覧は、シャットダウン ステップのアプリケーション一覧と同じです。一部のアプリケーションのアップグレードに失敗した場合、Java スレッドダンプ をクリックして問題を診断したり、再起動 をクリックしてアプリケーションの Java プロセスを再起動できます。アプリケーションアップグレードが成功したかどうかにかかわらず、ページ右上隅の ログの表示 をクリックして、アプリケーションアップグレードの詳細ログを表示できます。
タスク再実行
タスクの再実行と次へ をクリックして、まだ再実行されていないすべてのタスクを自動的に再実行します。一覧には、今回のアップグレードで強制停止されたインスタンスが表示されます。タスクが再実行されると、プロセスは自動的に次のステップに進みます。また、実行をクリックして単一のタスクを再実行できます。必要に応じて、停止をクリックしてタスクの実行を停止できます。実行および停止は、どちらもバッチ操作をサポートします。選択したタスクに完了または失敗済みのタスクが含まれる場合、それらは無視され、操作後に一覧が自動更新されます。
タスクの再実行が開始されない場合、または一部のタスクが開始に失敗した場合、システムはエラーを報告します。エラーメッセージ内の 再試行 をクリックするか、タスクの再実行と次へ をクリックして再度試行できます。
データ更新
デフォルトでは、タスクを実行してアップグレードメンテナンスモードから退出 が選択されています。更新して次へ をクリックします。システムは、スキップされず、かつ正常に実行されなかったすべてのデータ更新タスクを自動的に実行します。すべてのブロッキングタスクが完了すると、システムは自動的にタスク送信を再開し、アップグレードメンテナンスモードから退出します。また、タスク送信の再開およびメンテナンスモードからの退出時刻が記録されます。非ブロッキングタスクは引き続き実行されます。すでに実行中または正常に実行済みのタスクは再実行されません。失敗または未実行のタスクが実行されます。スキップされたタスクは無視され、実行されません。
また、実行をクリックしてタスクを開始したり、スキップ をクリックしてタスクを非ブロッキングとして扱い、実行の有無にかかわらず次のステップに進むこともできます。必要に応じて、停止をクリックして実行中のタスクを停止できます。実行、スキップ、停止は、すべてバッチ操作をサポートします。タスクのステータスが「成功」「実行中」「停止」「失敗」のいずれかの場合、ログの詳細 をクリックして、タスクの運用ログを表示できます。
アセットリフレッシュタスク の場合、アセットリフレッシュの詳細 を表示できます。アップグレード後にメタデータ形式が変更された場合、アセットメタデータのアップグレードが必要です。アセットメタデータはメッセージのトリガーによってアップグレードされます。アセットリフレッシュの詳細には、メッセージ総数、残りメッセージ数、成功メッセージ数、失敗メッセージ数が含まれます。メッセージ総数は、初期段階で各アプリケーションが報告した合計です。失敗メッセージ数は、処理に失敗したメッセージの数です。データ更新中に失敗メッセージが発生した場合、Dataphin O&M チームがそれらを無視できるかどうかを確認した上で、アップグレードを継続してください。
メタデータ取得タスク はスキップできません。手動でタスクを開始し、そのステータスおよびログの詳細を表示できます。ログにはワークフロー総数および完了済みワークフロー数が含まれます。アップグレード中、既存の取得インスタンスは変更されず、最新の実行コードを使用します。インスタンスにスケジューリングの変更が含まれる場合、その変更はアップグレード完了日の翌日から有効になります。

説明

ステップ 3：アップグレード結果の検証

システムアップグレードに必要なすべての操作が完了し、プロセスは検証ステージへ移行しました。検証ページには、生成されたインスタンス数、インスタンスステータスの比較、失敗したインスタンスの表示 が表示されます。

生成されたインスタンス数の確認、インスタンスステータスの比較、失敗したインスタンスの表示を通じて、アップグレード結果を検証し、失敗の原因を特定できます。アップグレードが成功したことを確認した後、完了をクリックして Dataphin のバージョンアップグレードを確定します。システムはこの時刻をアップグレード完了時刻として記録します。アップグレード結果が期待通りでない場合は、Dataphin O&M チームに連絡して確認および修復を行ってください。

生成されたインスタンス数：直近の本番インスタンス数と過去 7 日間の平均インスタンス数に分類されます。インスタンスは毎日 23:00 に生成されます。
- 直近の本番インスタンス：最後のインスタンス生成に関する情報を動的に照会・表示します。生成されたインスタンス数および対応するデータタイムスタンプを含みます。インスタンスが生成されていない場合、システムは 生成予定 と表示します。日付形式は YYYY-MM-DD です。
- 7 日間平均インスタンス数：T-8 から T-2 までのデータタイムスタンプにおける日別平均インスタンス数です。1 日にインスタンスが生成されなかった場合、その日はカウントされません。過去 7 日間にインスタンスが生成されなかった場合、NA と表示されます。
インスタンスステータスの比較：データタイムスタンプ（デフォルトは T-1）およびテナントでデータをフィルターします。ドーナツチャートおよび縦棒グラフにより、フィルターされたインスタンスのステータス分布および過去 7 日間のインスタンス数をそれぞれ表示します。
- ステータス分布：フィルターされたインスタンスのステータス分布を表示します。
- 7 日間インスタンス数：フィルターされたインスタンスをステータス別に分類した数およびインスタンス総数を表示します。
失敗したインスタンスの表示：失敗したインスタンス一覧には、本日失敗したが昨日は成功したタスクインスタンス が表示されます。各インスタンスには、インスタンス ID、ノード ID、タスク名、ノードタイプ、スケジューリングタイプ、最終更新時刻、実行ステータスが含まれます。アップグレード後は 30 分間監視してください。再実行 をクリックして、昨日は成功したが本日は失敗したタスクを再実行します。タスクが依然として失敗する場合、運用ログを確認して、問題がタスク自体にあるかどうかを判断してください。タスク一覧は 20 秒ごとに自動更新され、タスクステータスが更新されます。