Hologres:Blink および Flink のよくある質問とトラブルシューティング

用語

• Hologres のパフォーマンス

  • 書き込みパフォーマンス

    • 列指向テーブル：InsertOrIgnore > InsertOrReplace > InsertOrUpdate

    • 行指向テーブル：InsertOrReplace = InsertOrUpdate > InsertOrIgnore

    パラメーター	説明
    InsertOrIgnore	結果テーブルにプライマリキーが設定されており、リアルタイム書き込み中に重複するプライマリキーが検出された場合、後続のレコードは破棄されます。
    InsertOrReplace	結果テーブルにプライマリキーが設定されており、リアルタイム書き込み中に重複するプライマリキーが検出された場合、そのプライマリキーに基づいてレコードが更新されます。新しい行にすべてのカラムが含まれていない場合、不足しているカラムは null に設定されます。
    InsertOrUpdate	結果テーブルにプライマリキーが設定されており、リアルタイム書き込み中に重複するプライマリキーが検出された場合、そのプライマリキーに基づいてレコードが更新されます。新しい行にすべてのカラムが含まれていない場合、不足しているカラムの既存の値は保持されます。

  • ポイントクエリのパフォーマンス

    行指向ストレージは、行・列ハイブリッドストレージよりも優れたパフォーマンスを発揮し、行・列ハイブリッドストレージは列指向ストレージよりも優れたパフォーマンスを発揮します。

• Blink、Flink (VVR)、およびオープンソース Flink のサポート状況

  フォームファクター	データストレージタイプ					説明
  	ソーステーブル	シンクテーブル	ディメンションテーブル	バイナリログ	Hologres Catalog
  Fully managed Flink	行指向および列指向ストレージをサポートしています。	行指向および列指向ストレージをサポートしています。	行指向ストレージを使用してください。	サポートされています。	サポートされています。	なし
  Blink Dedicated	行指向および列指向ストレージをサポートしています。	行指向および列指向ストレージをサポートしています。	行指向ストレージを使用してください。	Hologres V0.8 は行指向ストレージのみをサポートしています。Hologres V0.9 以降は行指向および列指向ストレージをサポートしています。行指向ストレージを使用してください。	サポートされていません。	このプロダクトはフェーズアウト中です。Alibaba Cloud の Fully managed Flink を使用してください。
  Open source Flink 1.10	行指向および列指向ストレージをサポートしています。	行指向および列指向ストレージをサポートしています。	なし	サポートされていません。	サポートされていません。	なし
  Open source Flink 1.11 以降	行指向および列指向ストレージをサポートしています。	行指向および列指向ストレージをサポートしています。	行指向ストレージを使用してください。	サポートされていません。	サポートされていません。	オープンソース Flink 1.11 以降では、Hologres のコードがオープンソース化されています。詳細については、「GitHub」をご参照ください。

• 次の例は、SQL を使用して Flink テーブルを Hologres テーブルにマッピングする方法を示しています。

  create table holo_source(
  'hg_binlog_lsn' BIGINT HEADER,
  'hg_binlog_event_type' BIGINT HEADER,
  'hg_binlog_timestamp_us' BIGINT HEADER,
  A int,
  B int,
  C timestamp )
  with (
  type = 'hologres',
  'endpoint' = 'xxx.hologres.aliyuncs.com:80',   --Hologres インスタンスのエンドポイント。
  'userName' = '',                               --ご利用の Alibaba Cloud アカウントの AccessKey ID。
  'password' = '',                               --ご利用の Alibaba Cloud アカウントの AccessKey Secret。
  'dbName' = 'binlog',                           --Hologres インスタンス内のデータベース名。
  'tableName' ='test'                            --Hologres インスタンス内のテーブル名。
  'binlog' = 'true',
  );

  Blink、VVR、および Flink SQL はすべて、Flink テーブルを宣言した後、パラメーターを使用して Hologres 内の特定の物理テーブルにマッピングします。そのため、外部テーブルへのマッピングはサポートされていません。

リアルタイム書き込みの遅延のトラブルシューティング

1. 構成の確認

   次の構成情報を確認します。

   • 宛先テーブルのストレージ形式（行指向、列指向、行・列ハイブリッドストアテーブルを含む）。

   • 挿入モード（InsertOrIgnore、InsertOrUpdate、InsertOrReplace を含む）。

   • 宛先テーブルの Table Group および Shard Count。

2. リアルタイム書き込みレイテンシメトリックの確認

   平均書き込みレイテンシが高くなる場合（数百ミリ秒または数秒）、バックエンドで書き込みボトルネックに達している可能性があります。次の問題が存在する可能性があります。

   • 列指向テーブルに対して InsertOrUpdate を使用しており、部分更新が実行されています。トラフィックが高くなると、インスタンスの CPU 負荷および書き込みレイテンシが高くなる可能性があります。

     ソリューション：テーブルタイプを変更します。行指向テーブルを使用してください。ご利用のインスタンスが V1.1 以降の場合、行・列ハイブリッドストアテーブルを選択できます。

   • Cloud Monitor でインスタンスの CPU 負荷を確認します。CPU 使用率が 100 ％近くに達しているが、列指向テーブルでの部分更新が行われていない場合、原因は通常、高 QPS クエリまたは高い書き込み量です。

     解決策：Hologres インスタンスをスケールアウトします。

   • Insert into select from コマンドが継続的に実行され、テーブルへの BulkLoad 書き込みがトリガーされていないか確認します。BulkLoad 書き込みは現在、リアルタイム書き込みをブロックします。

     ソリューション：BulkLoad 書き込みをリアルタイム書き込みに変換するか、オフピーク時間帯に実行します。

3. データスキューの確認

   次の SQL コマンドを使用してデータスキューを確認します。

   SELECT hg_shard_id, count(1) FROM t1 GROUP BY hg_shard_id ORDER BY hg_shard_id;

   ソリューション：分散キーを変更して、データをより均等に分散させます。

4. バックエンドの負荷確認

   前述の手順で問題が見つからないにもかかわらず、書き込みパフォーマンスが突然低下した場合、バックエンドクラスターが高負荷状態になり、ボトルネックが発生している可能性があります。状況を確認するには、テクニカルサポートまでお問い合わせください。詳細については、「オンラインサポートの追加方法」をご参照ください。

5. Blink/Flink 側のバックプレッシャーの確認

   前述の手順で Hologres 側に明らかな問題が見られない場合、通常はクライアント側が遅く、Blink/Flink 側が遅くなっています。シンクノードでバックプレッシャーが発生していないか確認します。タスクにノードが 1 つしかない場合、バックプレッシャーの有無を確認できません。この場合は、シンクノードを分離して再度観察します。詳細については、Flink テクニカルサポートまでお問い合わせください。

データ書き込み問題のトラブルシューティング

この問題は通常、順不同のデータによって引き起こされます。たとえば、同じプライマリキーを持つデータが異なる Flink タスクに分散されており、書き込み順序を保証できない場合などです。Flink SQL のロジックを確認し、Hologres に書き込む前にデータが Hologres テーブルのプライマリキーでシャッフルされていることを確認してください。

ディメンションテーブルクエリ問題のトラブルシューティング

• ディメンションテーブル結合とデュアルストリーム結合

  Hologres から読み取る際は、まずディメンションテーブル結合を正しく使用しているかどうかを確認し、デュアルストリーム結合と混同していないことを確認します。以下は、Hologres をディメンションテーブルとして使用する例です。キーワード proctime AS PROCTIME() および hologres_dim FOR SYSTEM_TIME AS が欠落している場合、デュアルストリーム結合になります。

  CREATE TEMPORARY TABLE datagen_source (
     a INT,
     b BIGINT,
     c STRING,
     proctime AS PROCTIME()
  ) with (
     'connector' = 'datagen'
  );
  
  CREATE TEMPORARY TABLE hologres_dim (
     a INT, 
     b VARCHAR, 
     c VARCHAR
  ) with (
     'connector' = 'hologres',
     ...
  );
  
  CREATE TEMPORARY TABLE blackhole_sink (
     a INT,
     b STRING
  ) with (
     'connector' = 'blackhole'
  );
  
  insert into blackhole_sink select T.a,H.b
  FROM datagen_source AS T JOIN hologres_dim FOR SYSTEM_TIME AS OF T.proctime AS H ON T.a = H.a;

• ディメンションテーブルクエリ

  1. ディメンションテーブルのストレージ形式の確認

     ディメンションテーブルが行指向、列指向、または行・列ハイブリッドストアテーブルであるかどうかを確認します。

  2. ディメンションテーブルクエリの高レイテンシ

     ディメンションテーブルに関する最も一般的な問題は、Flink/Blink 側の結合ノードでバックプレッシャーが発生し、全体のタスクのスループットが低下することです。

     1. Flink ディメンションテーブル結合モードの確認

        Hologres Flink コネクタのディメンションテーブル結合機能は、同期モードと非同期モードをサポートしています。非同期モードは同期モードよりも優れたパフォーマンスを発揮します。Flink SQL を確認することで、これらを区別できます。以下は、非同期ディメンションテーブルクエリを有効にする SQL 文の例です。

        CREATE TABLE hologres_dim(
         id INT,
         len INT,
         content VARCHAR
        ) with (
          'connector'='hologres',
          'dbname'='<yourDbname>',  --Hologres データベースの名前。
          'tablename'='<yourTablename>',  --データを受信する Hologres のテーブル名。
          'username'='<yourUsername>',  --ご利用の Alibaba Cloud アカウントの AccessKey ID。
          'password'='<yourPassword>',  --ご利用の Alibaba Cloud アカウントの AccessKey Secret。
          'endpoint'='<yourEndpoint>'  --ご利用の Hologres インスタンスの VPC エンドポイント。
          'async' = 'true'--非同期モード
        );

     2. バックエンドクエリレイテンシの確認

        リアルタイム書き込みレイテンシメトリックを確認します。

        • ディメンションテーブルとして列指向テーブルが使用されていないか確認します。列指向形式のディメンションテーブルは、高 QPS シナリオでオーバーヘッドが大きくなります。

        • 行指向テーブルでありながらレイテンシが高い場合、通常はインスタンス全体の負荷が高くなっています。インスタンスをスペックアップする必要があります。

  3. 結合キーが Hologres テーブルのプライマリキーであるかどうかの確認

     Ververica Runtime (VVR) 4.x (Flink 1.13) 以降では、Hologres コネクタは Holo Client に基づいて Hologres テーブルに対するプライマリキー以外のクエリをサポートしています。これは通常、パフォーマンスが劣り、インスタンス負荷が高くなります。特にテーブルスキーマが最適化されていない場合に顕著です。このような場合、ユーザーにテーブルスキーマの最適化を推奨します。最も一般的な最適化は、結合キーを分散キーに設定して、シャードプルーニングを有効にすることです。

  4. Blink 側のバックプレッシャーの確認

     前述の手順で Hologres 側に明らかな問題が見られない場合、通常はクライアント側が遅く、Blink 側が遅くなっています。シンクノードでバックプレッシャーが発生していないか確認します。タスクにノードが 1 つしかない場合、バックプレッシャーの有無を確認できません。この場合は、シンクノードを分離して再度観察します。また、結合ノードでバックプレッシャーが発生していないかも確認できます。詳細については、Flink テクニカルサポートまでお問い合わせください。

接続に関する注意事項

一般的なエラー