カスタムスキーマによる DataHub トピックの作成 - DataHub

トピックの作成

プロジェクト詳細ページで、**[トピックの作成]** をクリックします。トピックは以下の 2 種類の方法で作成できます。

カスタムフォーマットでの作成

注意：シャード拡張モードを有効化すると、シャードを水平方向にスケールアウトできます。マージおよび分割操作はサポートされなくなり、シャード数を増加させることは可能ですが、減少させることはできません。このモードを有効化した後は、Kafka を使用してトピックをコンシュームできます。

必要に応じてトピックを作成できます。パラメーターの詳細については、「用語」ドキュメントをご参照ください。

MaxCompute テーブルスキーマをインポートしてトピックを作成

ステップ 1

MaxCompute へのアクセスに必要なパラメーターを指定します。

ステップ 2

**[次へ]** をクリックして MaxCompute テーブルスキーマをインポートします。必要に応じて、トピック名、フィールドのコメント、およびフィールドの空欄許容設定を変更できます。注意：シャード拡張モードを有効化すると、シャードを水平方向にスケールアウトできます。マージおよび分割操作はサポートされなくなり、シャード数を増加させることは可能ですが、減少させることはできません。このモードを有効化した後は、Kafka を使用してトピックをコンシュームできます。

トピックの表示

1. プロジェクトページに移動し、**[表示]** をクリックします。

2. ストレージサイズなどのトピックの詳細情報を確認します。

トピックの削除

トピックを削除するには、トピック一覧から **[削除]** ボタンをクリックします。注意：トピックを削除すると、そのトピックに格納されたすべてのデータおよび関連リソース（例：シャード、コネクタ）が同時に削除されます。この操作は取り消せません。実行前に十分にご確認ください。

バージョンの追加

DataHub では、既存のトピックのフィールドを変更し、新しいバージョンを生成できます。

注意：DTS、Logstash プラグイン、Flume プラグイン、OGG プラグイン、Fluentd プラグインを使用して DataHub に書き込まれたデータについては、SchemaRegister はサポートされていません。フィールドの追加には、ソフトウェア開発キット (SDK) を使用した「トピックの管理」または「コマンドラインインターフェイス」をご利用ください。

用語：

バージョン番号：Tuple トピックを作成すると、バージョン番号が自動的に生成されます。初期値は 0 です。トピックをクローンするか、新しいバージョンを追加するたびに、バージョン番号が 1 ずつ増加します。
クローン：元のテーブルスキーマを保持したまま、新しいフィールドを追加すること。

クローン（推奨）

スキーマをクローンすることで、フィールドを追加または変更できます。主に新規フィールドの追加に使用します。

ステップ 1

「スキーマ詳細」タブで、[クローン] をクリックし、その後 **[列の追加]** ボタンをクリックします。

必要な情報を入力し、**[OK]** をクリックします。

バージョンの追加

元のスキーマの構造を継承せずに、新しいスキーマを作成するためにバージョンを追加できます。

ステップ 1

「スキーマ詳細」タブで、[バージョンの追加] ボタンをクリックします。表示されるダイアログボックスで、**[列の追加]** をクリックします。

ステップ 2

必要な情報を入力し、**[OK]** をクリックします。新しいバージョンが追加されます。

トピックのライフサイクルの変更

DataHub では、トピックのライフサイクルを変更できます。以下にサンプルコードを示します。

パラメーター
- projectName：プロジェクト名。
- topicName：トピック名。
- lifeCycle: トピックのライフサイクル。
- comment：トピックのコメント。
例外
- DatahubClientException
- InvalidParameterException
- AuthorizationFailureException
- ResourceNotFoundException

例

public static void updatetopic() {
  try {
      int lifeCycle = 7;
      String comment = "test";
      datahubClient.updateTopic(Constant.projectName, Constant.topicName, lifeCycle, comment );
      System.out.println("トピックのライフサイクルを更新しました！");
  } catch (InvalidParameterException e) {
      System.out.println("無効なパラメーターです。パラメーターを確認してください。");
      System.exit(1);
  } catch (AuthorizationFailureException e) {
      System.out.println("AK エラーです。AccessKey ID と AccessKey Secret を確認してください。");
      System.exit(1);
  } catch (ResourceNotFoundException e) {
      System.out.println("プロジェクトまたはトピックが見つかりません。");
      System.exit(1);
  } catch (DatahubClientException e) {
      System.out.println("その他のエラーです。");
      System.exit(1);
  }
}