Hologres:リリースノート

コア機能の強化

説明

リファレンス

AI と検索機能の強化

• (ベータ) 非構造化データの操作: LLM を活用した AI 関数 を使用して、テキストや画像などの非構造化データを検索および分析します。すべてのモデルは Hologres AI ノードで完全にホストされ、データのセキュリティ、パフォーマンス、スケーラビリティ、コンプライアンスを確保します。AI 関数は、次のユースケースを可能にします:

  • 埋め込みモデルとオブジェクトテーブルを使用すると、非構造化データに対してベクトル検索と全文検索を実行できます。

  • テキストや画像からインサイトを導き出します。

  • 自然言語を使用してテキストをフィルタリングおよび分類し、多言語コンテンツを翻訳およびローカライズします。

  • 感情分析とディメンションベースの分析を実行して、カスタマーサービスを強化します。

  • ドキュメントを解析して、データ分析と検索拡張生成 (RAG) プロセスをサポートします。

• (ベータ) HGraph によるベクトル検索の強化: このテクノロジーはパフォーマンスを 10 倍以上向上させます。スカラーデータとベクトルデータのハイブリッド検索をサポートし、画像や動画の検索、行動ベースのレコメンデーション、セキュリティや不正検出などのアプリケーションに最適です。メモリ内とディスク上のハイブリッドインデックスをサポートし、標準の VectorDBBench で QPS がわずか 5% 低下するだけで、メモリ使用量を 80% 削減します。HGraph は、自動運転など、大規模なベクトルデータに対する効率的な検索を必要とするユースケースに、費用対効果の高いソリューションを提供します。

• (ベータ) 全文検索のサポート: 転置インデックスとビルトインのトークナイザーを導入し、全文検索を可能にします。ユースケース:

  • キーワード、フレーズ、自然言語検索。

  • テキスト類似性検索のための BM25 スコアリングアルゴリズムをサポートします。

  • 全文検索とベクトル検索を組み合わせます。

  • 全文検索とスカラーデータを組み合わせます。

• (ベータ) グローバルセカンダリインデックス: プライマリキー以外の列に対する効率的なポイントクエリをサポートします。フィーチャーストアや e コマースプラットフォームに最適です。

• AI 関数

• 全文転置インデックス (ベータ)

• グローバルセカンダリインデックス (ベータ)

エンジン強化

• TopN シナリオでのデータクエリを高速化するために、TopN ランタイムフィルターをサポートします。

• (ベータ) 内部テーブルのタイムトラベルをサポートします。この機能により、定義された期間内の任意の時点の既存データをクエリできます。

• (ベータ) 履歴ベースの最適化 (HBO) をサポートします。Hologres はスロークエリから実行詳細を収集し、チューニングの機会のためにクエリプランを自動的に分析し、クエリプランをインテリジェントに調整します。

N/A

動的テーブル

(ベータ) 処理済みデータを Paimon のフルモードまたは増分モードに書き戻すことをサポートします。動的テーブルは、ウェアハウスからウェアハウス、レイクからウェアハウス、ウェアハウスからレイク、レイクからレイクのユースケースで、ほぼリアルタイムのデータ処理をサポートするようになりました。サーバーレスインスタンスと組み合わせることで、データレイク上で超低コストのデータ処理が可能になります。

• 動的テーブル

• サーバーレスインスタンス (ベータ)

構文

QUALIFY 句をサポートし、ウィンドウ関数の結果をフィルタリングします。

QUALIFY (ベータ)

関数とエコシステム

ClickHouse との互換性の強化: toDayOfMonth、toDayOfYear、toHour などの複数の時間切り捨て関数をサポートします。これらの関数は、extract(field from timestamp) 関数と比較してパフォーマンスを 50% 向上させることができます。

日付と時刻の関数

サーバーレスと弾力性

• (ベータ) 仮想ウェアハウスインスタンスは、究極の書き込み分離を提供します。以前は、バッチ書き込みはリーダー仮想ウェアハウスに依存していました。 、テーブルグループをロードすることなく、このタスクタイプに任意の仮想ウェアハウスを使用できます。

• (ベータ) 仮想ウェアハウスインスタンスは、シームレスなアップグレード (ベータ) を備えており、実行中の SQL クエリに影響を与えることなく更新でき、自動クライアント再接続を提供します。

• (ベータ) 仮想ウェアハウスのホットアップデートを強化し、ロスレスな SQL 実行と即時再接続をサポートします。

• SQL で接続された仮想ウェアハウスの切り替えをサポートします。

• サーバーレスコンピューティングは、DLF 外部テーブルにアクセスできるようになりました。

• アーキテクチャ

• 仮想ウェアハウスの権限を管理する

• 仮想ウェアハウスインスタンスのアーキテクチャ

• SQL を使用して現在の接続の仮想ウェアハウスを切り替える

• DLF を使用して OSS からデータを読み書きする

• データの読み書きにサーバーレスコンピューティングを使用する

データレイク分析

(ベータ) MaxCompute データミラーリング: MaxCompute から Hologres にゼロ ETL でデータをミラーリングし、クエリ効率を大幅に向上させます。パフォーマンスは Hologres 内部テーブルのクエリに似ています。

N/A

コア機能の強化

コア機能の説明

リファレンス

エンジン強化

• 適応的な CTE 式の再利用またはインライン化をサポートします。

• BETWEEN 式の計算を最適化します。

CTE 再利用戦略の最適化

動的テーブル

• 増分更新モードで、ARRAY_AGG や STRING_AGG などの関数がサポートされるようになりました。

• DataWorks データマップで、動的テーブルのデータリネージ分析がサポートされるようになりました。

• ARRAY_AGG

• STRING_AGG

サービング機能の強化

固定プランで単純な式がサポートされるようになり、より多くのシナリオで高 QPS のポイントクエリと書き込みが可能になりました。

固定プランを使用した SQL 文の実行の高速化

関数とエコシステムの拡張

Lambda 式とそれらを使用する高階配列関数をサポートします。

LAMBDA 式と関連関数

サーバーレス機能

• サーバーレスコンピューティングで、内部テーブルや MaxCompute 外部/外部テーブルを含む、暗号化されたテーブルからのデータの読み取りと書き込みがサポートされるようになりました。

• クエリキュー機能の強化: 特定のテーブルに対する SQL リクエストをサーバーレスコンピューティングに自動的にルーティングします。

• サーバーレスコンピューティングガイド

• クエリキュー

データレイク分析機能

• Paimon レイクテーブルのミラーリングをサポートし、データレイククエリを高速化します。

• メタデータ管理のために DLF 2.5 と統合し、DLF REST API を使用して DLF の Apache Paimon カタログへのアクセスをサポートします。

• Apache Paimon カタログのミラーリングをサポートし、ゼロ ETL を介してデータレイクデータをミラーリングされた内部テーブルに複製し、クエリ効率を大幅に向上させます。

• Paimon のタイムトラベルクエリ機能を提供し、タイムスタンプまたはタグを指定して既存データを読み取ることができます。

• Paimon テーブルの特定のブランチまたはフォールバックブランチからのデータ読み取りをサポートします。

• パーティションテーブルでの全表スキャンを無効にして、リソースの過剰消費を防ぎます。

• パフォーマンスの向上: TPC-H ベンチマークテストでは、1 TB データセット上の Paimon テーブルのクエリで 2 倍の実行速度を達成しています。

• データレイクテーブルのミラーリング

• DLF に基づく Paimon カタログへのアクセス

エコシステム機能の強化

バイナリログのトリミングと圧縮をサポートし、バイナリログ消費中の I/O 使用量を削減します。

N/A

コア機能の強化

コア機能の説明

リファレンス

Hologres サーバーレスインスタンスの提供開始 (ベータ)

Hologres サーバーレスインスタンス (ベータ) は、招待制プレビューで無料で利用できます。Hologres サーバーレスインスタンスは、Hologres がクラウドネイティブのサーバーレスアーキテクチャに基づいて開発した新しいインスタンスタイプです。専用の計算資源を購入したり、アイドル状態の保持コストを負担したりすることなく、柔軟でスケーラブル、かつ使いやすい Hologres のコンピューティングおよびストレージサービスを利用できます。

Alibaba Cloud アカウントを使用して フォーム に記入し、トライアルをリクエストできます。

サーバーレスインスタンス (ベータ)

コア機能の強化

コア機能の説明

リファレンス

動的テーブル

• 論理パーティションテーブルの動的パーティショニングをサポートし、パーティションテーブルの使用を大幅に簡素化します。

• 自動更新モードを追加しました。このモードでは、データ鮮度を指定するだけで、エンジンが自動的に更新戦略を最適化します。これにより、データ更新の柔軟性が向上します。

• 増分更新は 2 つのデータストリームの結合をサポートし、リアルタイムデータ処理の柔軟性を向上させます。

• 増分更新は RoaringBitmap 関数をサポートし、ユニーク訪問者 (UV) やページビュー (PV) などの複雑なシナリオでの増分計算に使用されます。

• フルリフレッシュモードは適応実行 (ベータ) をサポートし、エンジンが内部で自己適応できるようにします。低レイテンシーを維持しながら、OOM エラーの確率を減らすことで実行の安定性を大幅に向上させ、計算資源の動的推定や実行計画の調整などの機能で使いやすさを向上させます。

• CREATE DYNAMIC TABLE

• 増分更新

サーバーレス機能

• サーバーレスコンピューティングを最適化し、INSERT OVERWRITE、リシャーディング、CREATE TABLE AS などの複雑な DML シナリオ、およびストアドプロシージャ、Rebuild、暗号化テーブルをサポートします。

• 仮想ウェアハウスの無損失スケーリング (ベータ) を実現し、仮想ウェアハウスのスケーリング中の業務継続性を確保します。

• 自動スロットリング (ベータ) をサポートします。この機能は、ワークロードに基づいてクエリキューの同時実行数を動的に制限し、クラスターの安定性を大幅に向上させます。

• 適応ルーティング機能を追加しました。大規模なクエリは、サーバーレスリソースを使用して自動的に実行されます。

• サーバーレスコンピューティングリソースの 1 日あたりの使用量の上限を設定できます。

• 高同時実行シナリオにおけるサーバーレスコンピューティングのキャッシュ再利用機能を最適化し、クエリパフォーマンスを向上させました。

• 仮想ウェアハウスのスケーリングに RAM ロールを使用できます。

• サーバーレスコンピューティングガイド

• サーバーレスコンピューティングのリリースノート

• 仮想ウェアハウスの管理

• スケジュールされたスケーリング (ベータ)

• 自動スロットリング (ベータ)

• 1 日あたりの累積使用量制限

パフォーマンスの最適化とクエリ機能の強化

• クエリエンジンを再構築し、QEv2 を導入し、軽量エンコーディングでの計算をサポートしました。TPC-H 1 TB ベンチマークテストでは、33% のパフォーマンス向上が実証されています。

• エンジン適応最適化とコストモデルに基づく集計計画の自動プッシュダウンをサポートします。これにより、JOIN 操作に関与するデータが削減され、レイテンシーと計算オーバーヘッドが大幅に削減されます。

• エンジンは JOIN フィールドの NOT NULL 属性を自動的に推測し、NOT NULL 条件をプッシュダウンして NULL 値を事前にフィルタリングします。また、集計操作内の GROUP BY 句の定数フィールドを自動的に排除します。

• クエリキャッシュ機能が追加され、キャッシュを通じて特定のクエリ結果を高速化します。

• hg_stats_missing ビューの統計情報の診断機能を強化し、autovacuum_enabled (AUTO ANALYZE が有効かどうか) や reason (統計情報が欠落している原因) などの新しいフィールドを追加して、統計情報の診断と修正を容易にしました。

• AUTO ANALYZE の最適化: 欠落している統計情報のテーブル行数を自動的に取得することで統計収集を強化し、クエリプランの品質を向上させました。統計情報は、永続性と干渉耐性が向上し、スキーマの変更 (例: RENAME、コールドストレージへの移行) による不要なクリアを削減します。これにより、システム負荷が軽減され、実行計画の品質が向上します。

• テスト結果

• クエリキャッシュ

• HG_STATS_MISSING ビュー

データ管理と書き込みの最適化

• ストレージとインデックスの最適化

  • 論理パーティションテーブル (ベータ) をサポートし、パーティションテーブルの使用の柔軟性を高め、メタデータとデータ管理を簡素化します。

  • 格納された生成列 (ベータ) をサポートし、事前計算によるデータ処理の簡素化とクエリの高速化を実現します。

  • Rebuild ツール (ベータ) を導入し、軽量インデックス (分散キー、クラスタリングキー、セグメントキー) やその他のテーブル構造の変更をサポートします。

• 書き込み機能の強化

  • プライマリキーテーブルは COPY 操作での部分的な列更新をサポートし、FIXED COPY シナリオの必要性を減らします。固定フロントエンド (FE) ノードを使用する場合、元の FE 接続数は消費されません。

  • INSERT OVERWRITE 構文のネイティブサポートにより、通常のテーブルや論理パーティションテーブルでの INSERT OVERWRITE 操作の柔軟性が向上します。

• 論理パーティションテーブル (ベータ)

• 生成列 (ベータ)

• REBUILD (ベータ)

• COPY

• Hologres へのデータの一括書き込みのベストプラクティス

• INSERT OVERWRITE

関数とエコシステムの拡張

• 新しいビルトイン関数

  • プロパティ関連付けファネル関数とディメンショングループ化ファネル関数を追加しました。

  • Spark および Presto と互換性のある関数を拡張し、クロスエンジン開発効率を向上させました。

  • Roaring bitmap 関数は部分的に 64 ビットをサポートし、ユーザーペルソナ分析シナリオの範囲を拡大します。

• リモート関数のサポート

  • Function Compute (FC) を使用したリモートユーザー定義関数 (UDF) の呼び出しをサポートし、抽出・変換・書き出し (ETL) 機能の柔軟な拡張を可能にします。

• プロパティ関連付けファネル関数 (finder_funnel)

• ディメンショングループ化ファネル関数 (finder_group_funnel)

• Spark 互換関数

• Presto 互換関数

• データの型

• Roaring bitmap 関数

• リモート UDF

エンタープライズレベルの機能アップグレード

• エンタープライズグレードの権限管理を強化しました。PostgreSQL プロトコルの接続オプションでセキュリティトークンを指定でき、JDBC または PSQL を使用した RAM ロールのログインがサポートされます。

• テーブルのゴミ箱をサポートし、誤って削除されたテーブルとそのデータをゴミ箱から回復できます。

• データマスキングを最適化し、計算結果と非 TEXT フィールドタイプをマスキングします。これにより、機密データの保護が大幅に強化され、機密情報に対するブルートフォース攻撃が防止されます。

• テーブルのゴミ箱

• データマスキング

データレイク分析機能

• 外部データソースのサポート

  • 外部データベース統合を強化し、Quick BI、Tableau、Superset などの主流の BI ツールからのシームレスなアクセスを可能にします。

  • 外部データベースのメタデータ更新間隔の指定をサポートします。

  • 外部データベースの ANALYZE と AUTO ANALYZE をサポートします。

  • INSERT INTO を使用して Paimon プライマリキーテーブルにデータを書き込むことをサポートし、柔軟なレイクハウスデータフローを促進します。

  • INSERT INTO を使用して Iceberg テーブルにデータを書き込むことをサポートし、より多くのオープンデータレイクフォーマットとの互換性を確保します。

• MaxCompute の透明な高速化

  • MaxCompute データのリモートクエリを 2.0 (ベータ) にアップグレードしました。基盤となるメカニズムは MaxCompute C++ Native SDK を使用して再構築され、Hologres が MaxCompute データソースにアクセスする際のパフォーマンスとエクスペリエンスがさらに向上しました。

  • MaxCompute Delta Tables の直接読み取りをサポートします (ベータ)。

  • 動的にマスキングされた MaxCompute データの直接読み取りをサポートし、統合された非識別化データマスキングエクスペリエンスを提供します (ベータ)。

  • スキーマ変更が行われた MaxCompute テーブルの直接読み取りをサポートします。サポートされる操作には、列の追加、列の削除、列タイプの変更、列の順序の調整が含まれます。

  • DataWorks データ開発 (新バージョン) を使用して、MaxCompute プロジェクト、スキーマ、テーブルを Hologres にワンクリックでマッピングできます。

  • DataWorks データ開発 (新バージョン) を使用して、MaxCompute テーブルデータを Hologres にワンクリックでインポートできます。

• ANALYZE と auto-analyze

• MaxCompute データに対するクエリの高速化

• Hologres から MaxCompute Delta テーブルにアクセスする

• MaxCompute メタデータを Hologres にマッピングする

• MaxCompute データを Hologres 内部テーブルに同期する

コア機能の強化

コア機能の説明

リファレンス

動作の変更

エンジン強化

• フルリフレッシュモードと増分リフレッシュモードをサポートする動的テーブルを導入しました。データは自動的にストリーミングおよびリフレッシュされ、リアルタイムのデータウェアハウス階層化とバッチストリーム処理の統合に対する厳しい要件を満たし、さまざまなデータ分析の適時性のニーズに対応します。

• サーバーレスコンピューティング機能が最適化され、SELECT および COPY 操作をサポートするようになりました。アドホックな大規模クエリ向けに、クラウドネイティブなリソース使用ソリューションが提供されます。

• 仮想ウェアハウスは、スケジュールされたスケーリング (ベータ) をサポートします。この機能は、さまざまな時間帯のさまざまなリソース要件を満たすために、スケジュールどおりに弾力的な計算資源を提供します。これにより、相互干渉を防ぎ、リソース使用率を向上させることができます。

• クエリキューがサポートされています。

  • ビジネス要件に基づいてクエリキューを作成し、クエリキューの同時実行数と長さを構成します。これにより、インスタンスの安定性が向上します。

  • 大規模クエリのガバナンス機能が向上しました。大規模クエリのキューイングタイムアウト期間を構成して、インスタンスへの悪影響を軽減できます。サーバーレスコンピューティングリソースは、大規模クエリを再実行できます。

  • サーバーレスコンピューティング機能は、クエリキュー内のすべてのクエリを実行するためにサポートされています。

• 固定プランに基づくデータ書き込み、データ更新、およびポイントクエリのパフォーマンスは、Hologres V2.2 と比較して約 10% 向上しています。

• INSERT OVERWRITE 文は、パーティション分割された親テーブルで実行できます。

• ストアドプロシージャ機能 (ベータ) は、一般的な SQL 文を定義し、ビジネスの複雑さを簡素化するためにサポートされています。

• スキーマ進化機能が強化され、列のデータ型を変更できるようになりました。

• COPY 機能が強化されました。プライマリキーを持つテーブルにデータをインポートする際にプライマリキーの競合が発生した場合に、エラーを報告する代わりにデータレコードを更新するためのフル行更新ポリシーを構成できます。

• クエリエンジンが強化され、クロス結合がサポートされるようになりました。これにより、非等価結合に基づくクエリのパフォーマンスが向上します。部分集計がサポートされています。複数のフィールドに基づいて GROUP BY 操作を実行する場合、部分集計を使用してメモリ使用量を制限し、OOM エラーの可能性を減らすことができます。

• ストレージエンジンが強化され、データが順序付けられていない列がセグメントキーとして構成されている場合に、列指向テーブルの更新パフォーマンスが向上しました。

• 関数機能は、次の点で強化されています:

  • TRY_CAST 関数が強化され、DATE、TIMESTAMP、および TIMESTAMPTZ 型へのデータ変換がサポートされるようになりました。

  • DISTINCT および ORDER BY 句を含む ARRAY_AGG および STRING_AGG 関数は、Hologres Query Engine (HQE) でサポートされています。これにより、クエリのパフォーマンスが向上します。

• サーバーレスコンピューティングユーザーガイド

• スケジュールされたスケーリング (ベータ)

• サーバーレスコンピューティングリソースを使用してクエリキュー内のクエリを実行する

• データ書き込み、更新、およびポイントクエリシナリオのストレステストのベストプラクティス

• INSERT OVERWRITE

• ストアドプロシージャ (ベータ)

• ALTER TABLE

• COPY

• EXPLAIN と EXPLAIN ANALYZE

• OOM トラブルシューティングガイド

• 型変換関数

• 関数リリースノート

• SQL ヒント機能のパブリックプレビューが完了し、この機能は本番環境で使用できます。デフォルトでは、この機能は有効になっています。

• メタデータウェアハウスでは、COPY 操作に対して 1 つのレコードではなく 2 つのレコードが生成されます。詳細については、「COPY」をご参照ください。

• Hologres V3.0.10 以降では、仮想ウェアハウスインスタンス内の各仮想ウェアハウスの最大計算ユニット (CU) 数が 512 から 1024 に増加します。

O&M と安定性の向上

• SQL 監査機能は、Simple Log Service に基づいて Hologres によって提供されます。この機能は、データベース操作を監視、記録、分析して、データセキュリティと関連ポリシーへの準拠を確保するために使用されます。

• 仮想ウェアハウスのスケールアウト機能が強化されました。スケールアウト中、データの読み取りと書き込みは中断されません。

• 100 ms 未満を消費する DML および DQL 文の統計は、クエリログシステムテーブルに集約され、SQL 文の観測および分析機能が向上します。

• CloudLens for Hologres

• 仮想ウェアハウス管理

• 時間ベースの弾力性 (ベータ)

• スロークエリログの表示と分析

データレイクハウス

• 外部データベース機能が追加され、DLF および MaxCompute テーブルのカタログレベルのメタデータマッピングがサポートされるようになりました。これにより、データレイクのメタデータおよびデータ管理機能が向上します。

• Hive Metastore Service (HMS) を Hologres と統合して、メタデータマッピングをサポートできます。この機能は、EMR クラスターでのデータクエリを高速化するのに役立ちます。

• INSERT INTO 文を実行して、Apache Paimon の追加専用テーブルにデータを書き込むことができます。

• Iceberg ベースのデータレイクからデータを読み取ることができます。これにより、データレイクエコシステムをさらに拡張できます。

• セキュリティ機能が強化されました。デフォルトでは、サービスリンクロールを使用して DLF2.0 にアクセスします。RAM ロールを使用して DLF2.0 にアクセスすることもできます。

• テーブル機能が強化されました。

  • Delta Lake リーダーが再構築され、読み取りパフォーマンスが大幅に向上しました。

  • Paimon 削除ベクトルを最適化して、大量のデータが削除されたがコンパクションが迅速に実行されない場合のクエリパフォーマンスを向上させることができます。

• Hologres V3.0.22 以降では、Hologres からの MaxCompute Delta テーブルへのアクセスがサポートされています。

• Hive Metastore を使用した OSS データレイクのデータへのアクセス (ベータ)

• Hologres からの MaxCompute Delta テーブルへのアクセス

コア機能の強化

コア機能の説明

リファレンス

動作の変更

Hologres サーバーレスコンピューティング機能のベータ段階が完了

Hologres サーバーレスコンピューティング機能の ベータ 段階が完了しました。この機能は本番環境での使用が可能で、SLA によってサポートされています。2024 年 7 月 1 日 00:00 (UTC+8) に正式に商用化されました。

• 使用量と請求

• サーバーレスコンピューティング

Hologres サーバーレスコンピューティング機能のベータ段階が完了し、この機能は本番環境での使用が可能です。

コア機能の強化

コア機能の説明

リファレンス

動作の変更

エンジン強化

• エンジンの基盤機能は継続的に最適化され、全体的なパフォーマンスは以前のバージョンと比較して約 15% 向上しています。Hologres Query Engine (HQE) と Query Optimizer (QO) は継続的に最適化されています。

  • HQE の機能は、次の点でパフォーマンスを向上させるために最適化されています:

    • ランタイムフィルターの機能が強化され、シャッフル結合がサポートされるようになりました。これにより、ランタイムフィルターが使用されるシナリオでクエリ効率が約 30% 向上します。

    • HQE のリモートプロシージャコール (RPC) メカニズムが最適化されました。データはワーカー間でマージされてから他のワーカーに配布されます。これにより、ネットワークオーバーヘッドが大幅に削減され、データがシャッフルされるシナリオでクエリパフォーマンスが 8% 向上します。

  • QO のパフォーマンスは、プラン段階で SQL 文を処理する効率を次の点で 40% 向上させるために最適化されています:

    • メモリ割り当てメカニズムと結合アルゴリズムが最適化され、複数結合シナリオでのクエリパフォーマンスが向上しました。

    • DATE_PART 関数が最適化され、年フィールドなどの時間関連フィールドのクエリ効率が向上しました。

    • DATE 型と TIMESTAMP 型のフィールド間の比較が最適化され、時間関連フィールドのクエリ効率が向上しました。

    • フィルター句を持つ複雑な関数の計算が最適化されました。最適化後、フィルター操作の順序が調整され、処理するデータ量が削減され、クエリ効率が向上します。

• サーバーレスコンピューティング機能が提供されます。この機能により、共有サーバーレスリソースプールで指定されたデータインポートまたは ETL タスクを実行できます。これにより、インスタンス内のタスク間のリソース競合と相互干渉が防止され、インスタンスの安定性が向上します。この機能は特定のリージョンでサポートされています。

• 動的パーティショニング機能が最適化され、パーティションの作成または削除の時間とコールドデータ移行の時間をカスタマイズできるようになりました。これにより、動的パーティショニング機能が使いやすくなります。

• SQL ヒント構文がサポートされています。ヒントを使用して SQL 文の実行モードを変更できます。これにより、SQL 文の実行を詳細に最適化できます。

• hg_stat_activity ビューが最適化され、CPU とメモリリソースに関するより正確なメトリックが提供されるようになりました。また、このビューをクエリして、MaxCompute から Hologres へのデータインポートの進行状況を取得することもできます。これにより、アクティブなクエリの可観測性が向上します。

• パス分析機能が追加され、パス内の各イベントのトラフィックと時間消費を分析できるようになりました。これにより、製品運用戦略の分析と製品設計思想の最適化に役立ちます。

• 関数機能は、次の点で強化されています:

  • try_cast 関数がサポートされています。異常なデータの場合、この関数はエラーメッセージではなく NULL を返します。これにより、異常なデータを処理するコストが削減されます。

  • 日付と時刻の関数 dateadd、datediff、および last_day がサポートされています。

  • 複数の汎用集計関数を HQE で実行して、クエリパフォーマンスを向上させることができます。

• サーバーレスコンピューティングユーザーガイド

• 動的パーティション管理

• HINT

• クエリ管理

• パス分析関数

• 型変換関数

• 関数リリースノート

• Hologres V2.2 以降では、固定プランを使用するプロセスのエンジンタイプの値が、スロークエリログで SDK から FixedQE に変更されます。これにより、スロークエリログとメトリックの名前の一貫性が確保されます。

• Hologres V2.2 以降では、FE ノードへの接続数が 128 から 256 に増加します。合計接続数は 2 倍になります。詳細については、「インスタンス管理」をご参照ください。

• INSERT OVERWRITE と BSI 関数 は現在一般提供されています。

• Hologres V2.2 以降では、SELECT hg_dump_script() 文は、CALL 構文の代わりに WITH 構文でテーブル作成プロパティを返します。この変更により、テーブル作成の利便性と可読性が向上します。詳細については、「テーブルスキーマの表示」をご参照ください。

O&M と安定性の向上

• SQL フィンガープリントを収集し、スロークエリログに記録できます。SQL フィンガープリントに対してクラスタリング分析を実行して、問題の特定と例外監視機能を向上させることができます。

• QE、FixedQE、およびバイナリログに関連するメトリックが公開され、ビジネスの可観測性と O&M 機能が向上します。

• HoloWeb の Query Insight 機能がサポートされ、数回のクリックでクエリ実行情報、テーブルメタデータ情報、およびロックトラブルシューティング情報を取得できます。これにより、トラブルシューティングの効率が向上します。

• クロス AZ ディザスタリカバリがサポートされ、インスタンスのディザスタリカバリ機能が向上します。この機能は特定のリージョンでサポートされています。

• エンジンエラーコードとエラーメッセージが最適化され、スロークエリログの分析効率が向上します。

  • DDL 文の期間を計算するロジックが最適化され、DDL 実行期間の収集精度が向上します。

  • EXPLAIN ANALYZE 文の結果がスロークエリログに記録され、各オペレーターのランタイムデータを表示できます。

• バージョンアップグレードの基盤メカニズムが最適化されました。大量のメタデータが存在する場合、物理的な復元を使用してアップグレード期間を大幅に短縮し、アップグレードがビジネスに与える悪影響を軽減します。

• FE ノードのテーブルロックがショートロックにアップグレードされ、DDL 文の実行失敗や FE ノードのメタデータ不整合などの問題が解決されます。これにより、FE ノードのメタデータの安定性と一貫性が向上します。

• この OpenAPI 機能のアップグレードにより、データレイクアクセラレーション、およびリソースグループの新しい API が追加され、インスタンス操作管理機能が強化されます。

• スロークエリログの表示と分析

• クエリインサイト

• Hologres SQL 文に関するよくある質問

• API 概要

エコシステム拡張

• 外部テーブルの自動ロード機能は MaxCompute 3 層モデルをサポートし、hg_experimental_auto_load_foreign_schema_mapping パラメーターを使用してスキーママッピングを指定できます。この機能は、MaxCompute 外部テーブルのスキーマ進化もサポートします。たとえば、列の追加、列の削除、列名の変更、列の順序の変更などです。

• 自動ロード機能が最適化され、Data Lake Formation (DLF) メタデータに基づく外部テーブルの自動作成がサポートされるようになりました。これにより、Object Storage Service (OSS) のテーブルからのクエリが高速化されます。

• データレイクアーキテクチャがアップグレードされました。ORC および Parquet 形式の外部テーブルは、内蔵の高速ディスクとメモリを使用した多層キャッシング、および述語プッシュダウンフィルタリングをサポートします。これにより、読み取りパフォーマンスが大幅に向上します。

• Hologres のサービスリンクロールを使用して MaxCompute 外部テーブルにアクセスできます。これにより、Alibaba Cloud サービスでの権限の構成が改善され、誤操作によるリスクが防止されます。Hologres コンソールで数回クリックするだけで、サービスリンクロールを作成し、ロールに権限を付与できます。

• OSS バケット内のデータと、MaxCompute 3 層モデルの指定されたスキーマ内のテーブルに、HoloWeb コンソールでアクセスできます。

• 外部テーブルの自動ロード

• Hologres サービスリンクロール

• OSS 外部テーブルの作成

• MaxCompute 外部テーブルの作成

コア機能の強化

コア機能の説明

リファレンス

動作の変更

エンジン強化

• 1 つ以上の COUNT DISTINCT 関数の実行パフォーマンスが実行時に自動的に最適化され、クエリ効率が大幅に向上します。

• クエリオプティマイザーに Row Group Filter メカニズムが追加されました。列指向テーブルの場合、列の行は行グループを形成し、各行グループの最大値と最小値が記録されます。列のデータをクエリする場合、システムは列指向テーブルからデータを読み取ることなく、各行グループのデータをフィルタリングします。これにより、クエリのオーバーヘッドが大幅に削減され、クエリ効率が向上します。

• ランタイムフィルター機能が最適化され、複数列の結合がサポートされるようになりました。これにより、結合効率が大幅に向上します。

• 完全なコンパクションを手動でトリガーして、小さなファイルをマージできます。これにより、クエリ効率が向上します。

• 範囲ベースのファネル分析機能が追加され、ユーザーアクティビティのコンバージョンを分析および比較できるようになりました。

• Bit-Sliced Index (BSI) 拡張ライブラリが追加され、高カーディナリティのタグシナリオでのクエリのパフォーマンスと使いやすさ、およびユーザー属性タグと行動タグの両方を含む結合クエリが最適化されました。

• クラスタリングキーに基づいてデータを降順でソートできます。これにより、ソートシナリオでのクエリパフォーマンスが向上します。

• 低頻度アクセスストレージのキャッシュ機構が最適化され、クエリパフォーマンスが向上しました。

• CREATE TABLE WITH および ALTER TABLE SET 文が追加され、元の set_table_property 構文が置き換えられました。これにより、テーブルプロパティの構成プロセスが簡素化されます。

• プライマリキーのないテーブルへのデータ書き込み機能が最適化されました。これらのテーブルへのバッチ書き込みは、テーブルロックではなく行ロックを取得し、Fixed Plan と同時に実行できます。

• Proxima ベースのベクトル処理機能が最適化されました。テーブルを作成し、ベクトルデータをテーブルにインポートしてから、ベクトルインデックスを作成できます。これにより、インデックス作成時間が短縮され、ベクトル処理が簡素化されます。

• 関数機能は、次の点で強化されています:

  • 一部の配列関数を HQE で実行して、関数のパフォーマンスを向上させることができます。

  • 文字列を分割するために KeyValue 関数が追加されました。

  • IF 関数が追加され、型検出シナリオが簡素化され、MySQL の移行コストが削減されました。

• Count Distinct の最適化

• ランタイムフィルター

• コンパクション (ベータ)

• ファネル関数

• BSI 関数

• DataQ - Profiler - BSI 最適化ソリューション (ベータ)

• クラスタリングキー

• データ階層型ストレージ

• CREATE TABLE

• ロックとロックのトラブルシューティング

• Proxima ベクトルコンピューティング

• 関数リリースノート

• KeyValue 関数

• IF

• データマップ、データリネージ、および 伝送暗号化 はベータ段階を完了し、現在一般提供されています。

• Hologres Binlog を消費するための権限要件が更新され、ターゲットテーブルに対する読み取り権限のみが必要になりました。詳細については、「JDBC を使用して Hologres binlog を消費する」をご参照ください。

• Bulkload を使用して、分散キーのない Hologres 内部テーブルにデータをインポートすると、インポートパフォーマンスが低下する可能性があります。

• 詳細については、「デフォルトの動作の変更」をご参照ください。

O&M と安定性の向上

• スロークエリ機能が強化され、スロークエリの分析効率が向上しました。

  • EXPLAIN ANALYZE 文の結果がスロークエリログに記録され、各オペレーターの実行データを表示できます。

  • 固定プランベースの診断機能が強化されました。データ書き込みシナリオの affected_rows とクエリシナリオの result_rows および result_bytes のデータがメタデータウェアハウスに報告されます。

• hg_relation_size 関数が追加され、テーブルのストレージサイズの詳細をクエリできるようになりました。

• Hologres はネイティブの PostgreSQL の動作と互換性があり、ロードバランシングをサポートします。プライマリインスタンスとセカンダリインスタンスが構成されているシナリオでは、ロードバランシングと自動インスタンスフェールオーバーがサポートされます。これにより、サービスの可用性が向上します。

• OpenAPI 機能がアップグレードされました。インスタンスの作成、更新、アップグレードまたはダウングレード、および解放のための API 操作が追加され、インスタンスの操作および管理機能が向上しました。

• スロークエリログの表示と分析

• Fixed Plan を使用して SQL 実行を高速化する

• テーブル格納関数

• JDBC ベースのロードバランシング

• API 概要

エコシステム拡張

データレイクアクセラレーションは、Paimon 形式で保存されたデータをサポートします。

OSS データレイクアクセラレーション

コア機能の強化

コア機能の説明

リファレンス

動作の変更

エンジン強化

• ランタイムフィルター機能が追加され、結合プロセスのフィルター操作が最適化されました。これにより、スキャンするデータ量が削減され、I/O オーバーヘッドが低減され、一般的な複数テーブル結合シナリオでクエリパフォーマンスが 20% 以上向上します。

• Lazy Create Fragment Instance メカニズムが Hologres クエリエンジンに追加されました。このメカニズムは、クエリのオーバーヘッドを削減し、大規模なテーブルのデータをクエリし、返される行数の上限が構成されているシナリオでクエリパフォーマンスを大幅に向上させるのに役立ちます。このメカニズムは、プレビューシナリオで一般的に使用されます。

• Explain & Explain Analyze の実行計画の表示形式が完全に最適化されました。これにより、可読性が向上し、SQL パフォーマンスの最適化が簡素化されます。

• 分散トランザクション機能が最適化されました。1 つのトランザクションで複数の DML 文を実行できます。

• 列の削除をサポートします。

• CREATE TABLE AS 構文がサポートされ、テーブルスキーマの反復的な最適化が簡素化されました。

• ストリーミング COPY がサポートされています。データをバッチ処理する必要がなく、書き込みスループットが向上します。

• 列指向ストレージモードで JSONB 形式のデータを含む列にビットマップインデックスを作成して、ポイントクエリを高速化できます。

• DATE データ型の列を、パーティションテーブルのプライマリキーおよびパーティションキーとして構成できます。パーティションプルーニングが最適化され、値の数がしきい値 (デフォルト 100) を超えても、IN Array 句のパーティションキー列がサポートされるようになりました。

• その他の内部エンジン最適化:

  • Tablet Lazy Open メカニズムのストレージエンジン最適化 (プライマリインスタンスとセカンダリインスタンスの両方でサポート): 24 時間以上アクセスされていないテーブルのメモリオーバーヘッドが自動的に無効になります。開いているテーブルの数がしきい値を超えると、システムは最近最も使用されていない (LRU) ポリシーに基づいてタブレットを動的に選択して無効にします。これにより、多数の開いているテーブルがあるシナリオでの常駐メモリオーバーヘッドが削減されます。

  • スキーマストレージ管理メカニズムのストレージエンジン最適化: ストレージ管理にメタタブレットが使用されます。これにより、複数のテーブルとシャードが存在するシナリオでのスキーマ常駐メモリオーバーヘッドとリソースオーバーヘッドが削減されます。

  • クイックリカバリ機能のストレージエンジン最適化: 特定のテーブルのデータが通常のデータリカバリ方法で回復できない場合、修復モードでクイックリカバリを有効にできます。デフォルトでは、メタデータ管理は論理リカバリをサポートします。論理リカバリは、多数のパーティションのデータを回復する必要がある場合に、回復時間を大幅に短縮するのに役立ちます。数万のパーティションを含むシナリオでは、論理リカバリは回復時間を 5 倍以上短縮します。

• 関数機能は、次の点で強化されています:

  • HQE でより多くの関数がサポートされ、関数のパフォーマンスが向上しました。

    • テーブル関数サポートフレームワークが再構築され、HQE が generate_series (INT、BIGINT、NUMERIC) をサポートできるようになりました。

    • PQE 関数サポートフレームワークが再構築され、HQE が left、right、text::timestamp、timestamp::text などの関数をサポートできるようになりました。

  • array_max、array_min、array_contains、array_except、array_distinct、array_union などの新しい配列関数が追加されました。

  • max_by および min_by 集計関数が追加され、ウィンドウソート操作が簡素化されました。

• ランタイムフィルター

• EXPLAIN と EXPLAIN ANALYZE

• SQL トランザクション機能

• 列の削除 (ベータ)

• CREATE TABLE AS

• COPY

• 列指向 JSONB

• CREATE PARTITION TABLE

• 関数リリースノート

• ARRAY 関数

• MAX_BY

• MIN_BY

• 列ストアはセグメントストレージ形式をサポートしなくなったため、セグメント形式を使用するインスタンスは V2.0 以降にアップグレードできません。hg_convert_segment_orc ツール関数を使用して、バッチ形式変換を実行できます。詳細については、「列指向テーブルのデータストレージ形式の変更」をご参照ください。

• テーブルグループの誤用によるリソースの浪費を防ぐため、V2.0 以降、単一のテーブルグループおよびインスタンスレベルでの合計シャード数の上限が課せられます。詳細については、「テーブルグループとシャード数の操作ガイド」をご参照ください。

• DataHub の書き込みは SDK (レガシー) モードをサポートしなくなり、完全に JDBC モードに切り替わりました。新しいモードはより安定しており、より多くのデータ型をサポートします。

• デフォルトでは、バイナリログ拡張が構成されています。JDBC モードでバイナリログデータを消費する場合、バイナリログ拡張を手動で作成する必要はありません。WAL Senders のデフォルトクォータは、200 Slot/32C から 2,000 Slot/32C に 10 倍増加します。この機能はベータ段階を完了し、本番環境で使用できます。詳細については、「JDBC を使用して Hologres バイナリログを消費する」をご参照ください。

• バックアップと回復 (ローカルバックアップと回復) と階層型ストレージ (データ階層型ストレージ) はベータ段階を完了し、現在本番環境に対応しています。

• 詳細については、「デフォルトの動作の変更」をご参照ください。

O&M と安定性の向上

• pg_stat_activity に基づいて、hg_stat_activity が導入されました。元の使用法と互換性があり、実行ステージ、実行エンジンタイプ、リソース使用量、ランタイムロックなど、より詳細なランタイム診断情報を提供します。

• シャードレベルのレプリカ機能が改善され、単一インスタンスの高可用性、ロードバランシング、高スループットがサポートされ、マシンの障害や不均衡なホットスポットなどの問題に対処します。

• 自動分析機能がリファクタリングされ、分散自動分析が可能になりました。これにより、外部テーブル、レイクハウスアクセラレーションクラスターのテーブル、パーティションテーブルの増分データを自動的に分析できます。これにより、超大規模テーブルや超ワイド列の分析失敗などの問題が解決されます。統計情報が不足しているテーブルの数が大幅に削減されます。実行計画はより安定し、消費されるリソースが少なくなり、パフォーマンスがより安定します。

• ストレージ暗号化構成が最適化され、柔軟な単一テーブル暗号化構成がサポートされるようになりました。

• データリネージメカニズムが最適化され、DataWorks を使用して MaxCompute と Hologres のデータに対してクロスエンジンリネージ分析を実行できるようになりました。CTE などの式を使用してデータリネージを解析できます。

• hg_stat_activity ビューのクエリ

• 単一インスタンス、シャードレベルのレプリカ

• テーブルレベルのストレージ暗号化設定

• データリネージ

エコシステム拡張

• MaxCompute 外部テーブルのクエリ高速化エンジンがアップグレードされ、互換性と安定性が向上しました。

• レイクハウスアクセラレーションシナリオでは、統合された DLF メタデータ管理により、DLF データカタログ (Multi-Catalog) を使用してメタデータを分離できます。これにより、テスト環境、開発環境、および部門横断クラスター間のメタデータ分離が容易になります。

• レイクハウスアクセラレーションシナリオでは、OSS-HDFS (JindoFS とも呼ばれる) に保存されているデータへのアクセスを高速化できます。これにより、ビッグデータ Hadoop エコシステムや AI などのドメインでのデータレイクコンピューティングの要件をよりよく満たすことができます。

• ClickHouse 互換関数が追加され、データとジョブの移行シナリオが簡素化されました。

• OSS データレイクアクセラレーション

• DLF を使用して OSS-HDFS データレイクのデータにアクセスする

• ClickHouse からのインポート

コア機能の強化

コア機能の説明

リファレンス

動作の変更

エンジン強化

• リアルタイム集計シナリオでのクエリ効率を向上させるためのリアルタイムマテリアライズドビューをサポートします (ベータ)。

• JSONB ストレージの最適化: 列指向ストレージの最適化を採用することで、クエリ統計とデータ圧縮の効率が大幅に向上します。

• パーティションサブテーブルの自動作成と削除を含む、パーティションテーブルの動的パーティション管理をサポートします。

• UNIQ 精密重複排除関数を追加して、重複排除効率を大幅に向上させ、複数の Count Distinct シナリオを最適化し、メモリ消費を削減します。

• エンジンの最適化。

  • FixedPlan に準拠した Insert 文を使用して、パーティション分割された親テーブルに直接書き込むことをサポートします。

  • string_agg() や array_agg() などの集計式によるフィルタリングをサポートします。

  • row() や row_to_json() などの関数とともに RowType をサポートします。

  • テーブルのスキーマの変更をサポートします。

  • with 式のパフォーマンスを向上させるために CTE Reuse オペレーターをサポートします。

• MaxCompute 3 層モデル (project.schema.table) の読み取りをサポートします。

• MaxCompute Transactional テーブルの読み取りと書き込み、MaxCompute Schema Evolution テーブル (MaxCompute で列の削除、列の順序の変更、列の型の変更などの操作が実行されたテーブル) の読み取り、および Array 型と Date 型の書き戻しをサポートします。

• SQL でマテリアライズドビューを管理する

• JSON および JSONB 型

• CREATE PARTITION TABLE

• クエリパフォーマンスの最適化

• INSERT

• Fixed Plan を使用して SQL 実行を高速化する

• 文字列関数

• JSON 関数

• ALTER TABLE

• CREATE FOREIGN TABLE

• IMPORT FOREIGN SCHEMA

• 外部テーブルを使用して MaxCompute のクエリを高速化する

• MaxCompute へのエクスポート

デフォルトの動作変更に関する注意

O&M と安定性の向上

• 共有ストレージセカンダリインスタンスのセルフサービス構成をサポートし、弾力性と高可用性を最適化します。

• table_info テーブルがメタデータウェアハウスに追加されました。これにより、データガバナンス機能が向上します。

• メタデータのメモリフットプリントを削減するための継続的なメモリ最適化。

• データ誤操作などのシナリオで既存データを復元するための、自動定期バックアップと手動バックアップをサポートします。

• 読み書き分離による複数インスタンスの高可用性デプロイメント (共有ストレージ)

• テーブル統計情報の表示と分析

• ローカルバックアップと回復

• 回復

エコシステム拡張

• PostGIS 拡張機能の本番環境レベルのサポートが提供されます。

• Oracle 拡張パッケージがサポートされ、多くの互換性のある関数が追加されました。

• DLF を介した Hudi および Delta 形式の外部テーブルの読み取り、および DLF を介した CSV、Parquet、SequenceFile、および ORC 形式のデータの OSS 外部テーブルへの書き込みをサポートします。

• BI の互換性が強化され、Tableau 互換性テスト (TDVT) で 99%+ の合格率を達成しました。

• PostGIS 空間関数

• Oracle 互換関数

• OSS データレイクアクセラレーション

コア機能の強化

コア機能の説明

リファレンス

動作の変更

O&M の改善

• リソースグループ分離機能 (ベータ) が利用可能になりました。複数のリソースグループを作成して、インスタンス内の異なるユーザーの計算資源に対してスレッドレベルのワークロード分離を実装できます。これにより、複数ユーザーおよび複数シナリオでの使用がより適切にサポートされます。

• Hologres インスタンスのオンラインホットアップグレードを実行できます。アップグレード中、データの読み取りとクエリは影響を受けません。ホットアップグレードをリクエストするには、Hologres DingTalk グループに参加できます。

• 単一インスタンスの計算資源分離 (ベータ)

• グループへの参加方法については、「より多くのオンラインサポートを受ける方法」をご参照ください。

• 自動分析機能は、Hologres V1.1 でデフォルトで有効になっています。

• MaxCompute データを直接読み取るための新しい Hologres エンジンは、V1.1 でデフォルトで有効になっています。

• リシャーディング機能はベータ段階を完了し、関連する関数名が更新されました。

詳細については、「デフォルトの動作の変更」をご参照ください。

エンジン強化

• 行列表のハイブリッドストレージ構造を持つテーブルを作成できます。これにより、単一のデータコピーで、ポイントクエリや OLAP などの複数のクエリシナリオをサポートできます。

• JDBC (ベータ) を使用して、Hologres バイナリロギングデータをリアルタイムで消費できます。

• オンデマンドで Hologres Binlog を有効にし、その構成を動的に変更できます。

• Hologres は、列の名前の変更をサポートするようになりました。

• JSONB インデックス機能 (ベータ) が利用可能になり、JSON 形式のデータのクエリと取得が高速化されました。

• メモリ内のメタデータの管理メカニズムが最適化されました。メタデータをキャッシュして圧縮し、メモリをより効率的に管理できます。

• CREATE TABLE

• JDBC を使用した Hologres バイナリロギングの消費

• Hologres バイナリロギングのサブスクライブ

• ALTER TABLE

• JSON および JSONB 型

外観の最適化

• Hologres は、DLF を使用して CSV、Parquet、SequenceFile、および ORC 形式の OSS データの読み取りをサポートするようになりました。

• Hologres は、複数の Hologres インスタンスにわたるクロスデータベースクエリとフェデレーションクエリをサポートするようになりました。

• OSS データレイクアクセラレーション

• クロスデータベースクエリ (ベータ)

セキュリティ強化

• Hologres は、Hologres 内部テーブルのデータのストレージ暗号化 (ベータ) をサポートし、データアクセスセキュリティを強化します。

• Hologres は、暗号化された MaxCompute データ (ベータ) の読み取りをサポートするようになりました。この機能により、Hologres と MaxCompute エコシステムの互換性が向上します。

• データストレージ暗号化

• MaxCompute 暗号化データのクエリ

コア機能の強化

コア機能の説明

リファレンス

エンジン強化

• テーブル統計の自動収集をサポート: テーブル統計は、データ書き込みおよび更新中に自動的にサンプリングされ、より良いクエリプランを生成するため、手動で Analyze Table を実行する必要がなくなります。

• ポイントクエリ (Key/Value) シナリオのミリ秒レベルの高信頼性をサポート (ベータ): シャードレベルの複数レプリカ構成、ミリ秒レベルのプライマリ/レプリカ切り替え、およびクエリの再試行をサポートし、サービスシナリオの高信頼性を大幅に向上させます。

• RoaringBitmap 拡張機能が追加され、Bitmap データ型と関連関数がネイティブにサポートされるようになりました。

• bit_construct および bit_match 関数が追加されました: ユーザーターゲティングやアトリビューションなどのシナリオ向けに最適化されており、userid に基づくより効率的な集計フィルタリングをサポートします。

• range_retention_count および range_retention_sum 関数が追加されました: 複数日の範囲クエリを持つリテンションシナリオ向けに最適化されています。

• リシャーディングツールが追加されました: 組み込みのリシャーディング関数を使用すると、テーブルを再作成せずにシャード数を変更でき、チューニングプロセスが簡素化されます。

• 列ストアのデフォルトの圧縮形式が AliORC に最適化され、ストレージ圧縮率が 30% から 50% 向上しました。

• ANALYZE と AUTO ANALYZE

• 単一インスタンスのシャードと複数のレプリカおよび高スループット (ベータ)

• RoaringBitmap 関数

• 詳細なユーザーセグメンテーション関数

• ファネル関数

• テーブルグループとシャード数の操作ガイド

• 列指向テーブルのデータストレージ形式の変更

外部テーブルクエリ機能

• MaxCompute 外部テーブルのクエリパフォーマンスが向上しました (ベータ): 新しい外部テーブルアクセラレーションエンジンにより、以前のバージョンと比較してクエリパフォーマンスが約 30% から 100% 向上します。

• DLF 統合が追加されました (ベータ): DLF を介して OSS データを読み取ります。

• MaxCompute 外部テーブルのクエリパフォーマンスの最適化

• OSS データレイクアクセラレーション

パフォーマンスの最適化

• ポイントクエリのパフォーマンスが向上: ローストアの総スループットが 100% 向上し、列ストアのスループットが 30% 向上しました。

• 更新操作の最適化: Update/Delete のパフォーマンスが 30% 向上しました。

• クエリプランキャッシュ: クエリプランキャッシュが最適化され、オプティマイザーのレイテンシーが削減されました。

/

エンタープライズレベルの O&M とセキュリティの最適化

• スロークエリが公開され、組み込みのクエリステータス履歴が追加されました。過去 1 か月以内のすべてのクエリのステータスをクエリして、スロークエリと失敗したクエリをすばやく特定できます。

スロークエリログの表示と分析

コア機能の強化

コア機能の説明

リファレンス

エンジン強化

• データ型が豊富になりました。

  • JSON および JSONB 型。

  • 時間型: interval、timetz、time

  • ネットワーク型: inet

  • 通貨型: money

  • PG システム型: name、uuid、oid

  • その他: bytea、bit、varbit

• PG 互換関数や Hologres 拡張関数など、関数型が豊富になりました。

  • 配列関数: array_length と array_positions が追加されました。

  • テーブルと DB のストレージサイズを表示する関数: pg_relation_size と pg_database_size。

• Hologres SQL コマンド文を使用して Hologres データを MaxCompute にエクスポートし、データアーカイブをサポートします。

• Hologres Binlog サブスクリプション (ベータ) をサポートします。

• テーブルのビットマップインデックスと辞書エンコーディングの動的な変更、およびデータ特性に基づく辞書エンコーディングの自動作成をサポートします。

• Hologres クライアントライブラリがリリースされました。これは、Hologres への大規模なバッチオフラインおよびリアルタイムデータ同期、および高 QPS のポイントクエリシナリオに適しています。データを自動的にバッチ処理することでスループットを向上させます。

• JDBC 書き込みパイプラインとクエリオプティマイザーが最適化され、エンジンの書き込み効率が大幅に向上しました。

• BI エコシステムの接続性が向上し、Tableau Server や Superset などのより多くの BI ツールをサポートして、さまざまなビジネス分析のニーズに対応します。

• JSON および JSONB 型

• データ型サマリー

• 配列関数

• テーブル格納関数

• MaxCompute へのエクスポート

• Hologres バイナリロギングのサブスクライブ

• ALTER TABLE

• Holo Client

セキュリティ強化

• ロールを介して STS アカウントを使用して Hologres にログオンすることをサポートし、クラウドアカウントだけでなく、より安全で多様なアカウントログインシステムを可能にします。

RAM ロール権限付与モード

コア機能の強化

コア機能の説明

リファレンス

エンジン強化

• CREATE VIEW 文を使用してビューを作成できます。1 つ以上のテーブル (内部テーブルと外部テーブルを含む) または他のビューに基づいてビューを作成できます。

• SERIAL、DATE、TIMESTAMP、VARCHAR(n)、および CHAR(n) データ型が追加されました。また、MaxCompute 外部テーブルデータの配列型マッピングがサポートされています。

• INSERT ON CONFLICT 機能を使用して、データを挿入するときにプライマリキー構成に基づいて重複データを更新またはスキップできます。

• TRUNCATE 機能をサポートします。

• 組み込みの Proxima ベクトル検索エンジンは、大規模なデータセットでのベクトル検索をサポートします。この機能は現在 ベータ です。

• VIEW

• データ型サマリー

• INSERT ON CONFLICT(UPSERT)

• Proxima ベクトルコンピューティング

セキュリティ強化

• データマスキング機能が追加されました。複数のマスキングポリシーを構成して、電話番号、住所、ID カード番号などの機密情報をマスキングできます。

• CloudMonitor との統合がサポートされ、カスタムメトリック監視とワンクリックアラートが可能になりました。

• データマスキング

MaxCompute 外部テーブルクエリの制約と制限

• MaxCompute パーティションテーブルをクエリする場合、スキャンできるパーティションの最大数は 512 です (0.8 より前のバージョンでは 50)。

• 各クエリで、スキャンできる基盤となるデータの最大量は 200 GB です (外部テーブルとフィールドの数に関係なく、0.8 より前のバージョンでは 100 GB)。

制約と制限