Hologres:リリースノートのアーカイブ

コア機能の強化

説明

参考資料

コンピューティングエンジンの強化とパフォーマンスの最適化

• コア実行エンジン (QE v2) のアップグレード

  • 並列処理のブレークスルー：ワーカーリソースは十分でもシャードの分散が疎なシナリオにおいて、QE v2 エンジンは内部メカニズムを最適化し、シャッフルのオーバーヘッドを追加することなく、JOIN や AGG などの CPU 負荷の高いオペレーターの並列度を向上させます。これにより、リソースを最大限に活用し、クエリレイテンシーを大幅に削減します。

  • アダプティブ実行における情報の強化：実行計画に、フィルター条件、結合条件、再配布列、フィルター列など、より詳細なオペレーターの状態が表示されるようになりました。

• インテリジェントなクエリ高速化 (履歴ベースの最適化 & リライト)

  • Dynamic Table の自動クエリリライト：オプティマイザーが単一テーブルのクエリリライトをサポートするようになり、ベーステーブルへのクエリを事前に計算された Dynamic Table に自動的にリダイレクトします。これにより、ユーザーが SQL コードを変更することなく、ミリ秒レベルの応答を実現します。

  • 履歴ベースの最適化 (HBO) ルールの拡張：Adaptive Join Order、Adaptive Segment Agg、Adaptive Runtime Filter などの新しいルールが導入されました。

  • 大規模クエリの強制的な最適化：実行時間が 20 秒を超え、最適化が可能なクエリに対して、エンジンは後続の実行で HBO プランを強制的に使用します。実行計画には、HBO プランが使用されたことが明確に示されます。

• 高度なオペレーターとリアルタイム分析の最適化

  • 高速 UV 計算の強化：User Id Encoding 関数をサポートします。この関数は、高カーディナリティの文字列を整数 ID にマッピングします。Dynamic Table の増分計算と組み合わせることで、大規模なリアルタイム UV を低コストかつ高速に計算できます。

  • Window TopN のストリームベース実行の最適化：Hash Partition シナリオにおいて、Window TopN オペレーターは完全なソートの代わりにストリームベースのソートを使用するようになりました。各パーティション内でデータをミニバッチで処理することで、ピーク時のメモリプレッシャーを大幅に削減します。

  • スキャンパフォーマンスの強化：スキャンプロセスにおける TopN Filter が結果キャッシュを使用できるようになり、基盤となるスキャンのオーバーヘッドを効果的に削減します。

  • 行指向テーブルのハイブリッド DML の最適化：行指向テーブルへの INSERT 操作に新しいサンプリングメカニズムを導入し、結合戦略を動的に決定します。これにより、少量のテーブルに大量のデータをインポートする際のパフォーマンスが大幅に向上します。

• Dynamic Table のクエリリライト

• サポートされている増分更新関数

• 長期間の UV 計算のための Hologres Dynamic Table ソリューション

• クエリパフォーマンスの最適化

レイクハウスとの緊密な統合

• 外部テーブル不要の EXTERNAL_FILES 分析関数

  • アドホッククエリのワークフローの簡素化：新しい EXTERNAL_FILES 関数は、外部テーブルを作成することなく、標準 SQL を使用して OSS 上の Parquet または ORC ファイルを直接分析できます。

  • データエクスポート機能：この関数は、内部テーブルから OSS にデータを直接エクスポートし、コールドデータアーカイブやクロスプラットフォームのデータ交換ワークフローを最適化します。

• MaxCompute のダイレクトリード機能の強化

  • 詳細なプルーニングのサポート：パーティションテーブルから直接読み取る際に、エンジンはパーティションプルーニングとクラスタリングキープルーニングをサポートするようになり、I/O スキャンを大幅に削減します。

  • ネイティブな型互換性：MaxCompute の JSON データ型の直接読み取りをサポートしました。これにより、半構造化データの処理効率が向上します。

• ニアリアルタイム取り込みのサポート

  • ニアリアルタイム取り込みのサポート：一時的なストレージステージを使用することで、ニアリアルタイムの取り込みをサポートするようになりました。既存のリアルタイム書き込みパスやオフラインバッチ書き込みパスと比較して、書き込みパフォーマンス、リソースコスト、データ可視性のバランスが向上します。

• ファイル読み取り関数 (EXTERNAL_FILES)

• 共通テーブルリンクを使用した MaxCompute へのアクセス

マルチモーダル検索と分析

• 全文検索の強化

  • トークナイザー機能の強化：IK、N-gram、Pinyin トークナイザーをサポートします。これにより、中国語の記述テキストの検索、ログテキストのあいまい検索、中国語の製品名や人名を Pinyin で検索するなど、さまざまなシナリオでの検索効率が向上します。

• ベクトル検索の強化

  • ベクトルインデックスリソースの最適化：HGraph インメモリインデックスが圧縮をサポートするようになりました。これにより、わずか 5% のパフォーマンス低下でメモリを 50% 節約できます。

  • ベクトルインデックスパフォーマンスの最適化：HGraph がインデックスファイルに列情報をアタッチできるようになりました。検索中に、ターゲットテーブルをクエリすることなくインデックスから直接列の値を取得できるため、ベクトル検索のパフォーマンスが向上します。

• 全文転置インデックス

• HGraph インデックス使用ガイド (推奨)

エンタープライズレベルの O&M とシステム安定性

• アーキテクチャによるワークロード分離

  • 分離されたクエリスレッドプール：クエリワークロード、リアルタイム書き込み、ストレージエンジンコントロールパス間の干渉を防ぐため、クエリ実行ロジックが専用のスレッドプールに分離されました。これにより、高同時実行性シナリオにおけるシステムのコントロールプレーンの応答性と安定性が確保されます。

• Serverless 機能の強化

  • アダプティブ Serverless Computing の強化：自動ワークロード分離をサポートします。負荷が高い場合、トラフィックは自動的に Serverless Computing リソースプールにルーティングされます。これにより、システムのスループットと安定性が大幅に向上します。

• リソース管理と安定性の強化

  • SQL によるウェアハウスの動的切り替え：標準 SQL コマンドを使用して接続先のウェアハウスを切り替えられるようになりました。これにより、マルチテナント分離が強化され、より柔軟な O&M 機能が提供されます。

  • テーブルスキーマ変更 (Rebuild) 機能の強化：最適化されたメタデータとデータ移行プロセスにより、スキーマ変更中の書き込み不可時間が 10 秒未満に短縮されます。プロセス中もテーブルはクエリ可能です。

  • ロック待機タイムアウト制御：hg_experimental_lock_wait_timeout_ms パラメーターが導入され、ユーザーは非 FixedQE 書き込みパスのロック待機タイムアウトをカスタマイズできます。

  • 詳細なメモリ管理：

    • 全文インデックスはメモリ常駐ではなくブロックキャッシュを介してロードされるようになり、メモリ空間を効果的に解放します。

    • ミニバッチアルゴリズムが最適化され、ストリームベースの ConcatRecordBatch がサポートされるようになりました。これにより、Arrow 構造が 2 GB を超えることによって引き起こされるエラーが部分的に緩和され、ピーク時のメモリプレッシャーが軽減されます。

• アダプティブ Serverless Computing

• SQL を使用して現在のウェアハウスを切り替える

• REBUILD

特徴

説明

参考資料

AI と検索機能の強化

• (ベータ版) LLM を活用した AI 関数により、テキストや画像などの非構造化データを分析・検索できます。すべてのモデルは Hologres AI ノードで完全にホストされ、パフォーマンス、スケーラビリティ、ガバナンス、データセキュリティ、コンプライアンスを保証します。AI 関数は以下のユースケースをサポートします：

  • 埋め込みモデルと Object Table を使用して、テキストや画像などの非構造化データに対してベクトル検索と全文検索を実行します。

  • テキストや画像から主要なインサイトを要約します。

  • 自然言語を使用してテキストをフィルタリング・分類し、多言語コンテンツを翻訳・ローカライズします。

  • 感情分析やディメンションベースの分析を行い、サービスを最適化します。

  • ドキュメントを解析して、データ分析と RAG ワークフローをサポートします。

• (ベータ版) 新しい HGraph ベクトル検索技術は、パフォーマンスを 10 倍以上向上させ、スカラーデータとベクトルデータのハイブリッド検索をサポートします。画像や動画の検索、行動ベースのレコメンデーション、セキュリティや不正検出などのビジネスシナリオに適しています。また、インメモリとオンディスクのハイブリッドインデックスをサポートし、QPS がわずか 5% 低下するだけでメモリ使用量を 80% 削減します (標準の VectorDB Benchmark に基づく)。これにより、自動運転など、大容量データに対する高性能なベクトル検索が必要なシナリオに、費用対効果の高いソリューションを提供します。

• (ベータ版) このバージョンでは、全文転置インデックスと組み込みトークナイザーのサポートが追加され、全文検索が可能になりました。サポートされるシナリオは以下の通りです：

  • キーワード、フレーズ、または自然言語による検索。

  • テキスト類似性検索のための BM25 スコアの計算。

  • ベクトル検索と組み合わせて、全文とベクトルのハイブリッド検索をサポート。

  • 全文とスカラーのハイブリッド検索をサポート。

• (ベータ版) 新しいグローバルセカンダリインデックス機能により、非プライマリキー列に対する効率的なキーバリューのポイントクエリが可能になります。これは、特徴量ストアや e コマースプラットフォームなど、非プライマリキー列に対する高性能なポイントクエリが必要なユースケースに最適です。

• AI 関数

• 全文転置インデックス

• グローバルセカンダリインデックス

エンジンの強化

• このバージョンは、TopN シナリオでのデータクエリを高速化するために TopN Runtime Filter をサポートします。

• (ベータ版) Hologres は内部テーブルのタイムトラベルをサポートし、定義された期間内の任意の時点の既存データをクエリできるようになりました。

• (ベータ版) このバージョンは、履歴ベースの最適化 (HBO) をサポートします。システムはスロークエリの実行詳細を収集し、クエリプランを自動的に分析して最適化の機会を探し、この履歴に基づいてプランをインテリジェントに調整します。

/

Dynamic Table

(ベータ版) 外部 Dynamic Table は、処理済みデータを Paimon に完全モードまたは増分モードで書き戻すことをサポートします。Dynamic Table は、ウェアハウス間、レイクからウェアハウス、ウェアハウスからレイク、レイク間のシナリオで、ニアリアルタイムのデータ処理をサポートするようになりました。サーバーレスインスタンスと組み合わせることで、データレイク上で超低コストのデータ処理が可能になります。

• Dynamic Table

• サーバーレスインスタンス

構文の強化

このバージョンは QUALIFY 句をサポートし、ウィンドウ関数の結果をフィルタリングできます。

QUALIFY (ベータ版)

関数とエコシステムの拡張

ClickHouse エコシステムとの互換性が強化されました。このバージョンでは、toDayOfMonth、toDayOfYear、toHour などの複数の時間切り捨て関数がサポートされます。これらの関数は、元の extract(field from timestamp) 関数と比較して、パフォーマンスを最大 50% 向上させることができます。

日付と時刻の関数

サーバーレスと弾力性

• (ベータ版) 仮想ウェアハウスインスタンスは、マルチクラスターの弾力的なスケーリングをサポートするようになりました。仮想ウェアハウスは 1 つ以上のクラスターで構成され、負荷に応じて自動的にスケールアウトし、仮想ウェアハウス内のリソース分離と高同時実行性の要求に応えます。

• (ベータ版) 仮想ウェアハウスインスタンスは強力な書き込み分離を提供し、インスタンス内の任意の仮想ウェアハウスを使用してバッチ書き込みタスクを実行できます。バッチ書き込みはリーダー仮想ウェアハウスに依存しなくなり、テーブルグループをロードする必要もありません。

• (ベータ版) 仮想ウェアハウスインスタンスのホットアップグレード機能が強化されました。アップグレード中、SQL の実行はロスレスで、短い中断の後、接続はシームレスに再確立されます。

• SQL を使用して現在の接続の仮想ウェアハウスを切り替えることができるようになりました。

• Serverless Computing は、DLF 外部テーブルからの読み取りと書き込みをサポートするようになりました。

• マルチクラスターと自動スケーリング (ベータ版)

• 仮想ウェアハウスの管理

• 仮想ウェアハウスインスタンスのアーキテクチャ

• 仮想ウェアハウスのユーザー権限の管理

• SQL を使用して現在の接続の仮想ウェアハウスを切り替える

• DLF を使用して OSS のデータレイクへのアクセスを高速化する

• Serverless Computing を使用して読み取りおよび書き込みタスクを実行する

データレイク分析

(ベータ版) このバージョンは MaxCompute データミラーリングをサポートします。これにより、ゼロ ETL を使用して MaxCompute からのデータをミラーリングされた内部テーブルにプレウォームし、クエリ効率を大幅に向上させることができます。データミラーリングを設定すると、MaxCompute テーブルへのクエリは Hologres 内部テーブルへのクエリと同等のパフォーマンスを発揮します。MaxCompute から Hologres にデータを移動するための専用のデータ同期ジョブを設定する必要はもうありません。

/

コア機能

説明

関連ドキュメント

エンジンの強化

• CTE 式の適応的な再利用またはインライン化をサポートします。

• BETWEEN 式の計算を最適化します。

CTE 再利用戦略の最適化

Dynamic Table

• 増分更新モードが ARRAY_AGG や STRING_AGG などの関数をサポートするようになりました。

• DataWorks データマップが Dynamic Table のリネージ分析をサポートするようになりました。

• ARRAY_AGG

• STRING_AGG

サービング機能の強化

Fixed Plan が単純な式をサポートするようになり、より多くのシナリオで高 QPS のキーバリューポイントクエリと書き込みが可能になりました。

Fixed Plan を使用した SQL 実行の高速化

関数とエコシステムの拡張

ラムダ式と高階配列関数のサポートを追加します。

ラムダ式と関連関数

Serverless 機能

• Serverless Computing が、内部テーブルや MaxCompute 外部テーブルを含む暗号化テーブルからの読み取りと書き込みをサポートするようになりました。

• クエリキューが強化され、SQL ステートメントをテーブルごとに分類し、特定のテーブルへのリクエストを自動的に Serverless Computing にルーティングできるようになりました。

• Serverless Computing ユーザーガイド

• クエリキュー

データレイク分析機能

• Paimon のデータレイクテーブルミラーリングをサポートし、データレイククエリを高速化します。

• DLF 2.5 メタデータ管理システムと統合し、DLF REST API を使用してデータレイク上の Paimon カタログをサポートします。

• この機能はゼロ ETL を使用して、データレイクからミラーリングされた内部テーブルにデータをプレウォームし、クエリ効率を大幅に向上させます。

• Paimon のタイムトラベル機能により、タイムスタンプやタグを指定して既存データを読み取ることができます。

• Paimon テーブルからのブランチデータの読み取りをサポートします (指定されたブランチからの読み取り、フォールバック動作付きの読み取りを含む)。

• 過剰なリソース消費を防ぐために、パーティションテーブルでの全表スキャンを無効にできるようになりました。

• TPC-H 1 TB ベンチマークで、Paimon テーブルに対するクエリのパフォーマンスが 2 倍向上しました。

• データレイクテーブルミラーリング

• DLF カタログに基づく Paimon データへのアクセス

エコシステムの強化

I/O 消費を削減するために、バイナリログのトリミングと圧縮のサポートを追加しました。

/

特徴

説明

ドキュメント

Hologres サーバーレスインスタンス (ベータ版) が、招待制の無料プレビューで利用可能になりました。

Hologres サーバーレスインスタンスは、クラウドネイティブなサーバーレスアーキテクチャ上に構築された新しいインスタンスタイプです。専用のコンピューティングリソースを事前に購入したり、アイドルコストを発生させたりすることなく、柔軟でスケーラブル、かつ使いやすい Hologres のコンピューティングおよびストレージサービスを提供します。

トライアルを申請するには、プライマリ Alibaba Cloud アカウントを使用してフォームに記入してください。

サーバーレスインスタンス

コア機能の強化

説明

関連ドキュメント

Dynamic Table

• 論理パーティションテーブルに基づく動的パーティショニングをサポートし、その使用を大幅に簡素化します。

• 自動更新モードを追加しました。希望するデータの鮮度を指定すると、エンジンが自動的に更新戦略を最適化し、より高い柔軟性を提供します。

• 増分更新がデュアルストリーム JOIN シナリオをサポートするようになり、リアルタイムデータ処理の柔軟性が向上しました。

• 増分更新が RoaringBitmap 関数をサポートするようになり、ユニーク訪問者 (UV) やページビュー (PV) 分析などの複雑なシナリオでの増分計算が可能になりました。

• 完全更新モードがアダプティブ実行 (ベータ版) をサポートするようになりました。エンジンの自己適応により、メモリ不足 (OOM) エラーの可能性を低減して実行の安定性を向上させ、動的なリソース導出とプラン調整により使いやすさを向上させ、同時に低レイテンシーを維持します。

• CREATE DYNAMIC TABLE

• 増分更新

Serverless 機能

• Serverless Computing が、INSERT OVERWRITE、RESHARDING、CTAS などのより複雑な DML シナリオ、およびストアドプロシージャ、REBUILD 操作、暗号化テーブルをサポートするようになりました。

• スケーリング操作中の業務継続性を確保するために、ロスレス仮想ウェアハウススケーリング (ベータ版) を導入しました。

• 自動スロットリング (ベータ版) をサポートします。この機能は、ワークロードに基づいてクエリキューの同時実行数を動的に制限し、クラスターの安定性を大幅に向上させます。

• Serverless Computing のためのアダプティブルーティングを追加しました。これにより、大規模なクエリが自動的にサーバーレスリソースにルーティングされて実行されます。

• Serverless Computing の日次使用量制限の設定をサポートします。

• 高同時実行性シナリオでの Serverless Computing のキャッシュ再利用を最適化し、クエリパフォーマンスを向上させました。

• RAM ロールを使用した仮想ウェアハウスのスケーリングをサポートします。

• Serverless Computing ユーザーガイド

• Serverless Computing リリースノート

• 仮想ウェアハウスの管理

• スケジュールされたスケーリング (ベータ版)

• 自動スロットリング (ベータ版)

• 日次使用量制限

パフォーマンス最適化とクエリの強化

• リファクタリングされたクエリエンジン (QEv2) は、軽量エンコーディングでの計算をサポートし、TPC-H 1 TB ベンチマークテストで 33% のパフォーマンス向上を実現しました。

• エンジンの適応的最適化は、コストモデルに基づいて集計プランを自動的にプッシュダウンします。これにより、JOIN 操作のデータ量が削減され、レイテンシーと CPU オーバーヘッドの両方が大幅に低減されます。

• エンジンは、JOIN キーの NOT NULL 属性を自動的に推論し、NOT NULL 条件をプッシュダウンして NULL 値を早期にフィルタリングするようになりました。また、集計の GROUP BY 句から定数フィールドを自動的に削除します。

• クエリの結果をキャッシュしてクエリを高速化するクエリキャッシュ機能を追加しました。

• hg_stats_missing ビューの診断機能を強化し、autovacuum_enabled (AUTO ANALYZE が有効かどうかを示す) や reason (統計が欠落している理由を説明) などの新しいフィールドを追加しました。これにより、欠落している統計の診断と補完が簡素化されます。

• AUTO ANALYZE システムが最適化されました。強化された統計収集により、統計のないテーブルの行数が自動的に取得され、クエリプランの品質が向上します。さらに、RENAME 操作やコールドストレージへのデータ移動など、統計の有効性に影響しないスキーマ変更によって統計がクリアされなくなったため、統計の永続性が向上しました。これにより、システムの負荷が軽減され、実行計画の品質が向上します。

• ベンチマークテスト結果

• クエリキャッシュ

• HG_STATS_MISSING ビュー

データ管理と書き込みの最適化

• ストレージとインデックスの最適化

  • 新しい論理パーティションテーブル (ベータ版) を導入しました。この機能は、軽量なメタデータ管理と簡素化されたデータ管理により、より高い柔軟性を提供します。

  • 事前計算によるデータ処理の簡素化とクエリの高速化を実現する STORED 生成列 (ベータ版) のサポートを追加しました。

  • REBUILD ツール (ベータ版) を導入しました。distribution key、clustering key、segment key などの軽量インデックスの変更や、その他のテーブル構造の変更をサポートします。

• 書き込み機能の強化

  • プライマリキーテーブルの COPY コマンドが部分列更新をサポートするようになり、FIXED COPY シナリオの必要性が減少しました。固定フロントエンド (FE) を使用する場合、その接続は元の FE の接続制限にはカウントされません。

  • INSERT OVERWRITE 構文のネイティブサポートを追加し、標準テーブルと論理パーティションテーブルの両方で、より柔軟な上書き操作が可能になりました。

• 論理パーティションテーブル (ベータ版)

• 生成列

• REBUILD

• COPY

• Hologres でのバッチデータ書き込みのベストプラクティス

• INSERT OVERWRITE

関数とエコシステムの拡張

• 新しい組み込み関数

  • プロパティ関連付けとディメンショングループ化のためのファネル関数を追加しました。

  • Spark および Presto 互換関数セットを拡張し、エンジン間の開発効率を向上させました。

  • 一部の Roaring Bitmap 関数が 64 ビット整数をサポートするようになり、ユーザープロファイル分析でのユースケースが拡大しました。

• リモート関数サポート

  • Function Compute を介したリモート UDF の呼び出しをサポートし、ETL 機能を柔軟に拡張する方法を提供します。

• プロパティ関連付けファネル関数 (finder_funnel)

• ディメンショングループ化ファネル関数 (finder_group_funnel)

• Spark 互換関数

• Presto 互換関数

• データ型サマリー

• RoaringBitmap 関数

• ユーザー定義関数 (リモート UDF)

エンタープライズグレードの機能アップグレード

• エンタープライズグレードの権限管理を強化しました。PostgreSQL プロトコル接続オプションでセキュリティトークンを指定して、JDBC または PSQL を使用して RAM ロールでログインできるようになりました。

• 誤って削除されたテーブルとそのデータを復元できるテーブルごみ箱を導入しました。

• データマスキングを強化し、ビューの結果や非 TEXT データ型のマスキングをサポートしました。これにより、機密データの保護が大幅に強化され、ブルートフォース攻撃の防止に役立ちます。

• テーブルごみ箱

• データマスキング

データレイク分析機能

• 外部データソースのサポート

  • 外部データソースとの統合を強化し、Quick BI、Tableau、Superset などの主要な BI ツールからのシームレスなアクセスを可能にしました。

  • 外部データソースのメタデータ更新間隔を指定できるようになりました。

  • ANALYZE および AUTO ANALYZE 操作が外部データソースでサポートされるようになりました。

  • INSERT INTO を使用して Paimon プライマリキーテーブルにデータを書き込むことをサポートし、データレイクとウェアハウス間のデータフローを促進します。

  • INSERT INTO を使用して Iceberg テーブルにデータを書き込むことをサポートし、オープンなデータレイクフォーマットとの互換性を拡大しました。

• MaxCompute の透過的アクセラレーション

  • MaxCompute データへの直接アクセスが V2.0 (ベータ版) になりました。MaxCompute C++ Native SDK に基づいてダイレクトリードメカニズムが再設計され、MaxCompute データソースへのアクセスパフォーマンスとユーザーエクスペリエンスがさらに向上しました。

  • MaxCompute Delta テーブルの直接読み取りをサポートします (ベータ版)。

  • MaxCompute から動的にマスキングされたデータの直接読み取りをサポートし、統合されたデータマスキングエクスペリエンスを提供します (ベータ版)。

  • スキーマが進化した MaxCompute テーブルの直接読み取りをサポートします。サポートされる操作には、列の追加、削除、並べ替え、列の型の変更が含まれます。

  • DataWorks の新しいデータ開発機能を使用して、MaxCompute プロジェクト、スキーマ、テーブルをワンクリックで Hologres にマッピングできるようになりました。

  • DataWorks の新しいデータ開発機能を使用して、MaxCompute テーブルから Hologres にワンクリックでデータをインポートできるようになりました。

• ANALYZE と AUTO ANALYZE

• MaxCompute へのアクセスを高速化

• Hologres から MaxCompute Delta テーブルへのアクセス

• MaxCompute メタデータを Hologres 外部テーブルにマッピングする

• MaxCompute データを Hologres 内部テーブルに同期する

機能強化

説明

関連ドキュメント

エンジン機能の強化

• 完全更新モードと増分更新モードの両方をサポートする Dynamic Table を導入しました。データは自動的にフローし、更新されるため、リアルタイムデータウェアハウスでのデータ階層化、ストリームバッチ処理の統合、分析のための多様なデータ鮮度ニーズへの対応が可能になります。

• Serverless Computing をアップグレードし、SELECT および COPY 操作をサポートしました。これにより、一時的な大規模クエリのためのクラウドネイティブリソースソリューションが提供されます。

• 仮想ウェアハウスがスケジュールされた自動スケーリング (ベータ版) をサポートするようになり、スケジュールに基づいてコンピューティングリソースをスケーリングできます。これにより、変動する需要に対応し、ワークロードの干渉を防ぎ、リソース使用率を最大化できます。

• クエリキューのサポートを追加しました：

  • ビジネス要件に基づいてクエリキューを作成し、その同時実行数と長さを設定してインスタンスの安定性を向上させることができます。

  • 大規模クエリのガバナンスを強化しました。キュー内の大規模クエリにタイムアウトを設定して、インスタンスへの影響を軽減できるようになりました。タイムアウトしたクエリは、Serverless Computing リソースを使用して再実行できます。

  • Serverless Computing を使用して、クエリキュー内のすべてのクエリを実行できます。

• Fixed Plan を使用した書き込み、更新、ポイントクエリのパフォーマンスを V2.2 と比較して約 10% 向上させました。

• 親パーティションテーブルでの INSERT OVERWRITE の実行をサポートします。

• 一般的に使用される SQL を定義してアプリケーションロジックを簡素化できるストアドプロシージャ (ベータ版) のサポートを追加しました。

• スキーマ進化を強化し、列データ型の変更をサポートしました。

• COPY コマンドを強化しました。プライマリキーを持つテーブルにデータをインポートする際に、完全な行更新ポリシーを設定して、プライマリキーの競合エラーを回避できます。

• クエリエンジンを強化し、クロス結合をサポートして、非等価述語のクエリパフォーマンスを向上させました。また、部分集計もサポートし、メモリ使用量を制限し、多くの GROUP BY キーを持つクエリからのメモリ不足 (OOM) エラーのリスクを軽減します。

• ストレージエンジンを強化し、セグメントキーが非シーケンシャルに書き込まれる列に設定されている場合の列指向テーブルの更新パフォーマンスを向上させました。

• 関数機能を強化しました：

  • TRY_CAST 関数を強化し、DATE、TIMESTAMP、TIMESTAMPTZ をターゲットデータ型としてサポートしました。

  • Hologres Query Engine (HQE) で ARRAY_AGG および STRING_AGG 関数を DISTINCT および ORDER BY 句と共に実行することをサポートし、クエリパフォーマンスを向上させました。

• Serverless Computing 使用ガイド

• スケジュールされた自動スケーリング (ベータ版)

• Serverless Computing リソースを使用してクエリキュー内のクエリを実行する

• データ書き込み、更新、ポイントルックアップのストレステストのベストプラクティス

• INSERT OVERWRITE

• ストアドプロシージャ

• ALTER TABLE

• COPY

• EXPLAIN と EXPLAIN ANALYZE

• 一般的な OOM 問題のトラブルシューティング

• 型変換関数

• 関数リリース履歴

O&M と安定性の改善

• SLS と連携して SQL 監査を導入し、データベースアクティビティを監視、記録、分析して、データセキュリティとポリシーコンプライアンスを確保します。

• 仮想ウェアハウスのスケールアウト機能を強化し、スケーリングプロセス中に読み取りおよび書き込み操作を中断することなく継続できるようにしました。

• 100 ミリ秒未満の DML 操作とクエリを、集約された形式でクエリログシステムテーブルに記録することをサポートし、SQL の可観測性と分析を向上させました。

• CloudLens for Hologres

• 仮想ウェアハウスの管理

• スケジュールされた自動スケーリング (ベータ版)

• スロークエリログの表示と分析

レイクハウス統合

• 新しい外部データベース機能は、Data Lake Formation (DLF) や MaxCompute などのデータソースのカタログレベルのメタデータマッピングをサポートし、データレイクのメタデータとデータ管理機能を強化します。

• Hive メタストアへの接続をサポートし、メタデータをマッピングして EMR クラスターを透過的に高速化します。

• INSERT INTO ステートメントを使用して Paimon 追加テーブルにデータを書き込むことをサポートします。

• Iceberg テーブル形式の読み取りをサポートし、データレイクエコシステムをさらに拡大します。

• セキュリティ機能を強化しました。デフォルトでは、DLF 2.0 にアクセスする際に ID パススルーにサービスリンクロールが使用されます。RAM ロールを使用して DLF 2.0 にアクセスすることもできます。

• テーブル機能を強化しました。

  • Delta Lake 形式のリーダーが再設計され、読み取りパフォーマンスが大幅に向上しました。

  • Paimon 削除ベクトル最適化をサポートし、大量のデータが削除されたがまだコンパクションされていないシナリオでのクエリパフォーマンスを向上させます。

• V3.0.22 以降、Hologres は MaxCompute Delta テーブルへのアクセスをサポートします。

• Hive メタストアを使用して OSS データレイクのデータにアクセスする (ベータ版)

• Hologres から MaxCompute Delta テーブルへのアクセス

機能強化

説明

関連ドキュメント

Hologres Serverless Computing がベータ版を終了

Hologres Serverless Computing はベータ版を終了し、本番環境に対応し、SLA の対象となりました。2024年7月1日 (UTC+8) に一般提供が開始されます。

• 使用方法と課金

• Serverless Computing

機能強化

説明

関連ドキュメント

エンジン機能の強化

• 基盤となるエンジン機能を継続的に最適化し、以前のバージョンと比較して全体で約 15% のパフォーマンス向上を達成しました。このリリースでは、Hologres Query Engine (HQE) と Query Optimizer (QO) の進化に焦点を当てています：

  • Hologres Query Engine (HQE) を最適化し、以下のシナリオでパフォーマンスを向上させました：

    • ランタイムフィルター機能を強化し、シャッフル結合シナリオをサポートし、これらのシナリオでのクエリ効率を約 30% 向上させました。

    • HQE の RPC 接続メカニズムを最適化しました。各ワーカー内のデータは、他のワーカーに配布される前にマージされます。これにより、ネットワークオーバーヘッドが大幅に削減され、シャッフルを伴うシナリオでのクエリパフォーマンスが 8% 向上します。

  • Query Optimizer (QO) を最適化し、計画フェーズでの SQL ステートメントの処理速度を 40% 向上させました：

    • メモリ割り当てメカニズムと結合アルゴリズムを最適化し、複数結合シナリオでのクエリパフォーマンスを向上させました。

    • DATE_PART 関数の動作を最適化し、年などの時間関連フィールドでのクエリ効率を向上させました。

    • DATE および TIMESTAMP 型フィールドの比較動作を最適化し、時間ベースの列でのクエリ効率を向上させました。

    • フィルターを持つ複雑な関数での操作を最適化しました。この最適化は、複数のフィルターを並べ替えて計算データ量を削減し、クエリ効率を向上させます。

• Serverless Computing を導入し、データインポートや ETL タスクなどの長時間実行ジョブを共有サーバーレスリソースプールで実行できるようになりました。これにより、インスタンス内のタスクの競合と干渉が減少し、安定性が向上します。(この機能は一部のリージョンでのみ利用可能です。)

• 動的パーティションの自動パーティション機能が、パーティション作成・削除時間、およびコールドストレージテーブルの移行時間をカスタマイズできるようになり、機能の使いやすさが向上しました。

• SQL ヒント構文のサポートを追加しました。ヒントを使用して SQL ステートメントの実行計画を変更し、詳細なパフォーマンス最適化が可能です。

• hg_stat_activity 関数を最適化し、より正確な CPU およびメモリメトリックを提供します。また、MaxCompute から Hologres へのデータインポートの進捗状況を表示することもサポートし、アクティブなクエリの可観測性を大幅に向上させます。

• 新しいパス解析関数を追加しました。パス内の各ノードでのトラフィックと滞在時間を分析して、製品運用戦略や設計の最適化に役立てることができます。

• 関数機能を強化しました：

  • try_cast 型変換関数をサポートし、無効なデータをエラーを発生させずに自動的に NULL に変換することで、例外的なデータの処理を簡素化します。

  • 新しい日付と時刻の関数を追加しました：dateadd、datediff、last_day。

  • Hologres Query Engine (HQE) でより多くの汎用集計関数を実行することをサポートし、クエリパフォーマンスを向上させました。

• Serverless Computing 使用ガイド

• 動的パーティションの管理

• HINT

• クエリの管理

• パス解析関数

• 型変換関数

• 関数リリース履歴

O&M と安定性の改善

• SQL フィンガープリントを導入し、スロークエリログで報告します。SQL フィンガープリントをクラスタリングして分析することで、問題診断と異常監視機能が向上します。

• QE、FixedQE、バイナリログの監視メトリックを公開し、可観測性と保守性を向上させました。

• HoloWeb が Query Insight をサポートするようになり、クエリ実行情報、テーブルメタデータ、ロックのトラブルシューティング詳細をワンクリックで取得でき、トラブルシューティング効率がさらに向上します。

• クロス AZ ディザスタリカバリのサポートを追加しました。(この機能は一部のリージョンでのみ利用可能です。)

• エンジンエラーコードとエラーメッセージを最適化し、スロークエリログ分析の効率を向上させました。

  • DDL 期間計算ロジックを最適化し、DDL 操作の収集された実行時間の精度を向上させました。

  • スロークエリログに EXPLAIN ANALYZE の結果を記録することをサポートし、各オペレーターの詳細なランタイムデータを提供します。

• バージョンアップグレードの基盤技術を最適化しました。この最適化では、新しい物理リストア技術を使用して、大量のメタデータを持つインスタンスのアップグレード時間を大幅に短縮し、ビジネスへの影響を最小限に抑えます。

• FE ノードのテーブルロックメカニズムをアップグレードし、短期ロックを使用するようにしました。これにより、DDL 操作の停止や FE ノードのメタデータ不整合によるエラーなどの問題が効果的に解決され、FE ノードのメタデータの安定性と一貫性が向上します。

• OpenAPI 機能をアップグレードし、データレイクアクセラレーション、リソースグループの新しい API を追加して、インスタンスの運用と管理を強化しました。

• スロークエリログの表示と分析

• Query Insight

• Hologres SQL ステートメントの一般的な問題

• API 概要

エコシステムの拡張

• 外部テーブルの自動ロード機能が MaxCompute の 3 層モデルをサポートするようになりました。hg_experimental_auto_load_foreign_schema_mapping パラメーターを使用してスキーママッピングを指定できます。この機能は、MaxCompute 外部テーブルのスキーマ進化もサポートしており、列の追加・削除、列名の変更、順序の変更などが可能です。

• 外部テーブルの自動ロード機能が、DLF メタデータを介した自動ロードをサポートし、OSS に保存されているテーブルのクエリを高速化します。

• データレイクアーキテクチャをアップグレードしました。ORC および Parquet 形式の外部テーブルが、内蔵の高速ディスクとメモリを使用した多層キャッシングをサポートし、述語プッシュダウンもサポートします。これにより、読み取りパフォーマンスが大幅に向上します。

• サービスリンクロールを使用して MaxCompute 外部テーブルにアクセスできます。これにより、クラウドサービスの権限設定が簡素化され、運用エラーのリスクが軽減されます。Hologres 管理コンソールでワンクリックでサービスリンクロールを承認できます。

• HoloWeb で、OSS のデータや MaxCompute 3 層モデルで指定されたスキーマ内のテーブルを視覚的に閲覧できるようになりました。

• 外部テーブルの自動ロード

• Hologres サービスリンクロール

• OSS 外部テーブルの作成

• MaxCompute 外部テーブルの作成

特徴

説明

関連ドキュメント

エンジンの強化

• 単一および複数の COUNT DISTINCT 式のランタイムパフォーマンスを自動的に最適化し、COUNT DISTINCT シナリオでのクエリ効率を大幅に向上させます。

• クエリオプティマイザーは、列指向テーブルに行グループフィルターメカニズムを導入しました。このメカニズムは、行を行グループにグループ化し、それぞれの最小値と最大値を記録します。クエリが列でフィルタリングする場合、オプティマイザーはデータを読み取らずに行グループ全体をプルーニングできるため、I/O が大幅に削減され、クエリパフォーマンスが向上します。

• ランタイムフィルター機能を最適化し、複数列の結合シナリオをサポートすることで、結合効率を大幅に向上させます。

• 手動で完全な コンパクション をトリガーして、小さなファイルをマージし、クエリ効率を向上させることができるようになりました。

• ユーザーアクティビティのコンバージョンを分析および比較するための、範囲ベースのファネル分析関数を追加しました。

• 高カーディナリティのタグシナリオや、ユーザープロファイルタグと行動タグの結合クエリのパフォーマンスと使いやすさを向上させるために、ビットスライスインデックス (BSI) 拡張を追加しました。

• clustering key が降順をサポートするようになりました。clustering key をソートシナリオで使用して、クエリパフォーマンスを向上させることができます。

• 低頻度アクセスストレージ のキャッシュ機構を最適化し、クエリパフォーマンスを向上させました。

• 元の set_table_property 構文を置き換えるために CREATE TABLE WITH および ALTER TABLE SET 構文を追加し、テーブルプロパティの設定プロセスを簡素化しました。

• プライマリキー のないテーブルへの書き込みを最適化しました。このようなテーブルへのバッチ書き込みは、テーブルレベルロックの代わりに、行レベルロックを使用するようになり、Fixed Plan と同時に実行できるようになりました。

• Proxima ベクトルコンピューティング は、ベクトルインデックス を作成する前にテーブルを作成し、ベクトルデータをインポートすることをサポートするようになりました。これにより、インデックス の作成時間が短縮され、ベクトルコンピューティングの使用が簡素化されます。

• 関数の強化：

  • いくつかの配列関数が HQE 上で実行できるようになり、関数のパフォーマンスが向上しました。

  • 文字列を分割するための KeyValue 関数を追加しました。

  • 型チェックシナリオを簡素化し、MySQL の移行コストを削減するために IF 関数を追加しました。

• Count distinct の最適化

• ランタイムフィルター

• コンパクション (ベータ版)

• ファネル関数

• BSI 関数

• プロファイル分析 - BSI 最適化ソリューション

• クラスタリングキー

• データ階層化ストレージ

• CREATE TABLE

• ロックとロックのトラブルシューティング

• Proxima ベクトルコンピューティング

• 関数リリースノート

• KeyValue 関数

• IF

O&M と安定性の改善

• より効率的な分析のために、スロークエリ診断を強化しました。

  • スロークエリログに EXPLAIN ANALYZE の結果を記録できるようになり、各 オペレーター の詳細なランタイムデータを提供します。

  • Fixed Plan 診断を強化しました。書き込みシナリオでは、affected_rows データがメタデータウェアハウスに報告されます。クエリシナリオでは、result_rows および result_bytes データがメタデータウェアハウスに報告されます。

• テーブル の詳細なストレージ使用量をクエリするための hg_relation_size 関数を追加しました。

• ネイティブの PostgreSQL の動作との互換性を追加し、負荷分散 をサポートしました。これにより、プライマリ/セカンダリ アーキテクチャ での 負荷分散 と 自動フェイルオーバー が可能になり、サービス可用性が向上します。

• インスタンスの作成、更新、スケーリング、解放のための新しい API を OpenAPI に追加し、インスタンス の O&M と管理を改善しました。

• スロークエリログの表示と分析

• Fixed Plan を使用した SQL 実行の高速化

• テーブルストレージ関数

• JDBC ベースの負荷分散

• API 概要

エコシステムの拡張

データレイク アクセラレーションが Paimon ストレージ形式をサポートするようになりました。

DLF を使用して OSS データレイクのデータへのアクセスを高速化

特徴

説明

関連ドキュメント

エンジンの強化

• 結合操作中のフィルタリングを最適化するためにランタイムフィルターを導入しました。この機能は、スキャンされるデータ量を削減し、I/O オーバーヘッドを低減することで、一般的な複数テーブル結合シナリオで 20% 以上のパフォーマンス向上を実現します。

• クエリ エンジン は、Lazy Create Fragment Instance メカニズムを追加しました。大規模テーブルで LIMIT N 句を使用するプレビューシナリオでは、このメカニズムがオーバーヘッドを削減し、クエリパフォーマンスを大幅に向上させます。

• 実行計画 (EXPLAIN および EXPLAIN ANALYZE) の表示形式を完全に最適化し、読みやすさを向上させ、SQL パフォーマンスチューニングを簡素化しました。

• 分散トランザクションのサポートを強化し、複数の DML ステートメントを含むトランザクションもサポートするようになりました。

• DROP COLUMN をサポートします。

• スキーマの反復と最適化シナリオを簡素化するために CREATE TABLE AS 構文をサポートします。

• ストリーミング COPY をサポートし、書き込みスループットを向上させ、バッチ処理の必要性をなくします。

• JSONB 列指向ストレージに ビットマップ索引 を設定することをサポートし、等価フィルターを持つクエリを高速化します。

• DATE 型を プライマリキー および パーティションテーブル の パーティションキー として設定することをサポートします。パーティションプルーニングが最適化され、パーティションフィールドの IN 配列の長さがしきい値 (デフォルト：100) を超えてもサポートされます。

• その他の内部エンジン最適化：

  • ストレージ エンジン は、プライマリインスタンスとセカンダリインスタンスの両方でサポートされる Tablet Lazy Open メカニズムを最適化しました。24 時間以上アクセスされていないテーブルは自動的に閉じられ、メモリが解放されます。開いているテーブルのデータ量がしきい値を超えると、最近最も使用されていない (LRU) ポリシーを使用して、対応するタブレットを動的に選択して閉じます。これにより、多くのテーブルがあるシナリオでの常駐メモリのオーバーヘッドが削減されます。

  • ストレージ エンジン は、スキーマストレージ管理メカニズムを最適化しました。Meta Tablet がすべてのスキーマを管理するようになり、多くのテーブルとシャードがある環境での常駐メモリのオーバーヘッドが削減されます。

  • ストレージ エンジン は、迅速な回復機能を最適化しました。一部のテーブルで従来の回復に問題がある場合、修復モードで起動して迅速に回復できるようになりました。メタデータ 管理は、デフォルトで論理的な回復をサポートするようになり、多くのパーティションがあるシナリオでの回復時間を効果的に短縮します。数万のパーティションがあるシナリオでは、回復は 5 倍以上高速になります。

• 関数の強化：

  • より多くの関数が HQE 上で実行できるようになり、関数のパフォーマンスが向上しました。

    • Table Function サポートフレームワークが再設計され、HQE 上で generate_series (INT、BIGINT、NUMERIC) を実行できるようになりました。

    • PQE 関数サポートフレームワークが再設計され、HQE 上で left、right、text::timestamp、timestamp::text を実行できるようになりました。

  • array_max、array_min、array_contains、array_except、array_distinct、array_union などの配列関数を追加しました。

  • ウィンドウシナリオでの順序付け操作を簡素化するために、集計関数 max_by および min_by を追加しました。

• ランタイムフィルター

• EXPLAIN と EXPLAIN ANALYZE

• SQL トランザクション機能

• 列の削除 (ベータ版)

• CREATE TABLE AS

• COPY

• 列指向 JSONB

• CREATE PARTITION TABLE

• 関数リリースノート

• ARRAY 関数

• MAX_BY

• MIN_BY

O&M と安定性の改善

• pg_stat_activity の上に hg_stat_activity を導入しました。元のビューと互換性がありますが、実行ステージ、実行 エンジン タイプ、リソース使用量、ランタイムロック情報など、はるかに豊富なランタイム診断情報を提供します。

• シャード レベルのレプリケーションを実装しました。これにより、単一の インスタンス 内でのスループットスケーリングのための高可用性と 負荷分散 がサポートされます。部分的なマシンの障害や不均一なホットスポットに耐えることができます。

• 自動分析機能が分散アーキテクチャで再設計されました。この更新により、外部テーブル、レイクハウスアクセラレーションクラスター、パーティションテーブルの増分自動分析がサポートされます。新しい設計は、非常に大きなテーブルや多くの列を持つテーブルでの分析の失敗を解決し、統計が欠落しているテーブルのケースを大幅に削減します。これにより、より安定した実行計画、低いパフォーマンスオーバーヘッド、および全体的な安定性が向上します。

• ストレージ暗号化設定を最適化し、テーブルごとの柔軟な暗号化設定をサポートしました。

• データリネージ メカニズムを改善しました。DataWorks の MaxCompute と Hologres 間のクロスエンジンリネージ分析をサポートし、CTE などの式のリネージを解析できます。

• hg_stat_activity ビューのクエリ

• 単一インスタンスのシャードレベルマルチレプリカ

• テーブルレベルのストレージ暗号化設定

• データリネージ

エコシステムの拡張

• MaxCompute 外部テーブル のクエリ高速化 エンジン をアップグレードし、互換性と安定性を向上させました。

• 統合された DLF メタデータ 管理を備えたレイクハウスアクセラレーションシナリオでは、メタデータ 分離のために DLF データカタログ (Multi-Catalog) を使用できるようになりました。これにより、テスト、開発、部門横断クラスター間の メタデータ 分離が簡素化されます。

• レイクハウスアクセラレーションシナリオでは、このリリースは OSS-HDFS (別名 JindoFS) に保存されているデータの高速化をサポートします。これにより、Hadoop ビッグデータエコシステムおよび AI 分野の データレイク コンピューティングシナリオにより良く対応できます。

• データとジョブの移行を簡素化するために、ClickHouse 互換関数を追加しました。

• DLF を使用して OSS データレイクのデータへのアクセスを高速化

• DLF を使用して OSS-HDFS データレイクのデータへのアクセスを高速化

• ClickHouse からデータをインポートする

特徴

説明

参考

エンジンの強化

• リアルタイム集計シナリオでのクエリパフォーマンスを向上させるために、リアルタイムマテリアライズドビューのサポートを追加しました (ベータ版)。

• JSONB の列指向ストレージを追加し、統計クエリの効率を大幅に向上させ、データ圧縮率を高めました。

• パーティションテーブルの動的パーティション管理を追加しました (パーティションサブテーブルの自動作成と削除を含む)。

• UNIQ 精密重複排除関数を追加し、重複排除効率を大幅に向上させ、複数 COUNT DISTINCT シナリオを最適化し、メモリ使用量を削減しました。

• エンジンの最適化：

  • Fixed Plan に準拠した INSERT ステートメントを使用して、パーティションテーブルの親テーブルに直接書き込むことをサポートしました。

  • string_agg() および array_agg() を含む集計式でのフィルタリングをサポートしました。

  • row() および row_to_json() などの関連関数を含む RowType データ型をサポートしました。

  • テーブルのスキーマ変更をサポートしました。

  • with 式のパフォーマンスを向上させるために CTE Reuse オペレーターを導入しました。

• MaxCompute 3 層モデル (project.schema.table) の読み取りをサポートしました。

• MaxCompute との統合を改善しました：トランザクションテーブルからの読み取りと書き込み、スキーマ進化 (列の削除、並べ替え、または型の変更) 後のテーブルの読み取り、ARRAY および DATE データの書き戻しが可能になりました。

• SQL を使用したマテリアライズドビューの管理

• JSON および JSONB 型

• CREATE PARTITION TABLE

• クエリパフォーマンスの最適化

• INSERT

• Fixed Plan を使用した SQL 実行の高速化

• 文字列関数

• JSON 関数

• ALTER TABLE

• CREATE FOREIGN TABLE

• IMPORT FOREIGN SCHEMA

• 外部テーブルを使用して MaxCompute データのクエリを高速化する

• MaxCompute へのエクスポート

O&M と安定性の改善

• 弾力性と高可用性を強化するために、共有ストレージセカンダリインスタンスのセルフサービス設定を導入しました。

• データガバナンス機能を強化するために、table_info メタデータウェアハウステーブルを追加しました。

• メモリ使用量を最適化することで、メタデータのメモリフットプリントを削減しました。

• 偶発的な操作からのデータ復旧を可能にするために、自動定期バックアップと手動バックアップのサポートを追加しました。

• 読み書き分離によるマルチインスタンス高可用性デプロイメント (共有ストレージ)

• テーブル統計情報の表示と分析

• ローカルバックアップと復元

• 復元

エコシステムの拡張

• PostGIS 拡張の本番グレードのサポートを追加しました。

• 多くの Oracle 互換関数を提供する Oracle 拡張パッケージを追加しました。

• DLF を使用して、Hudi および Delta 形式の外部テーブルを読み取り、CSV、Parquet、SequenceFile、ORC 形式のデータを OSS 外部テーブルに書き込むことができるようになりました。

• BI との互換性を改善し、Tableau 互換性テスト (TDVT) で 99%+ の合格率を達成しました。

• PostGIS 空間関数

• Oracle 互換関数

• DLF に基づいて OSS データレイクへのアクセスを高速化

特徴

説明

関連ドキュメント

運用とメンテナンスの改善

• リソースグループ分離 (ベータ版) を追加しました。リソースグループを作成して、インスタンス内の異なるユーザーに対してスレッドレベルでワークロードを分離できます。この機能は、マルチユーザーおよびマルチシナリオのユースケースをより良くサポートします。

• Hologres インスタンスのオンラインホットアップグレードをサポートします。アップグレード中、読み取り (クエリ) 操作は影響を受けません。この機能を使用するには、Hologres コミュニティグループに参加してアクセスを申請してください。

• 単一インスタンス内のコンピューティングリソースの分離 (ベータ版)

• グループへの参加方法については、「オンラインサポートの取得」をご参照ください。

エンジンの強化

• 単一のデータコピーでポイントクエリと OLAP ワークロードの両方に対応できる行列ハイブリッドストレージをサポートします。

• JDBC 経由での Hologres バイナリロギングのリアルタイム消費をサポートします (ベータ版)。

• バイナリロギングのオンデマンド有効化と動的構成をサポートします。

• 列名の変更をサポートします。

• JSON データのクエリを高速化するために JSONB インデックス (ベータ版) を追加しました。

• より効率的なメモリ使用のためにキャッシングと圧縮を追加して、インメモリメタデータ管理を最適化しました。

• CREATE TABLE

• JDBC を使用した Hologres バイナリログの消費

• Hologres バイナリログの購読

• ALTER TABLE

• JSON および JSONB データ型

外部テーブルの強化

• Data Lake Formation (DLF) を使用して、Object Storage Service (OSS) から CSV、Parquet、SequenceFile、ORC 形式のデータを読み取ることをサポートします。

• 複数の Hologres インスタンスにまたがるクロスデータベースクエリとフェデレーションクエリをサポートします。

• DLF に基づく OSS データレイクのデータへのアクセスを高速化

• クロスデータベースクエリ (ベータ版)

セキュリティの強化

• データアクセスセキュリティを強化するために、内部 Hologres テーブルのデータストレージ暗号化 (ベータ版) をサポートします。

• MaxCompute エコシステムとの互換性を向上させるために、MaxCompute からの暗号化されたデータの読み取り (ベータ版) をサポートします。

• データストレージ暗号化

• MaxCompute の暗号化されたデータのクエリ

特徴

説明

関連ドキュメント

エンジンの強化

• テーブル統計の自動収集をサポートします。システムはデータ書き込みおよび更新中にテーブル統計を自動的にサンプリングして、より良いクエリプランを生成するため、手動で ANALYZE TABLE を実行する必要がなくなります。

• ポイントクエリシナリオにミリ秒レベルの高い信頼性を提供します (ベータ版)。この機能は、シャードレベルのマルチレプリカ構成、ミリ秒レベルのプライマリ-レプリカフェイルオーバー、およびクエリの再試行をサポートし、サービングシナリオの信頼性を大幅に向上させます。

• RoaringBitmap 拡張を追加し、Bitmap データ型と関連関数をネイティブにサポートします。

• bit_construct および bit_match 関数を追加しました。これらの関数は、ユーザーセグメンテーションやアトリビューション分析などのシナリオに最適化されており、ユーザー ID に基づく集計条件のフィルタリングをより効率的に行います。

• range_retention_count および range_retention_sum 関数を追加し、リテンション分析のための複数日範囲クエリを最適化しました。

• テーブルを再作成することなくシャード数を変更できる組み込み関数を備えたリシャーディングツールを導入し、チューニングプロセスを簡素化しました。

• 列ストアのデフォルト圧縮形式を AliORC に最適化し、ストレージ圧縮率を 30% から 50% 向上させました。

• ANALYZE と AUTO ANALYZE

• 単一インスタンス内のシャードの複数レプリカからの高スループット読み取り (ベータ版)

• RoaringBitmap 関数

• ユーザーセグメンテーションのための関数

• ファネル関数

• テーブルグループとシャード数の管理

• 列指向テーブルのデータストレージ形式の変更

外部テーブルクエリの強化

• 新しいアクセラレーションエンジンにより、MaxCompute 外部テーブルのクエリパフォーマンスを以前のバージョンと比較して 30% から 100% 向上させました (ベータ版)。

• Object Storage Service (OSS) からデータを読み取るための Data Lake Formation (DLF) との統合を追加しました (ベータ版)。

• MaxCompute 外部テーブルのクエリパフォーマンスの最適化

• DLF に基づく OSS データレイクへのアクセスを高速化

パフォーマンスの最適化

• ポイントクエリのパフォーマンスを向上させ、ローストアで 100%、列ストアで 30% の総スループットを向上させました。

• 更新操作を最適化し、UPDATE および DELETE 操作のパフォーマンスを 30% 向上させました。

• オプティマイザーのオーバーヘッドを削減するために、クエリプランキャッシュを最適化しました。

/

エンタープライズグレードの O&M とセキュリティの最適化

• スロークエリの特定を導入しました。組み込みのクエリステータス履歴により、過去 1 か月間のすべてのクエリを表示して、遅いクエリや失敗したクエリを迅速に特定できます。

スロークエリログの表示と分析

特徴

説明

関連ドキュメント

エンジンの強化

• より広範なデータ型をサポートしました。

  • JSON および JSONB 型。

  • 時間型：interval、timetz、time。

  • ネットワーク型：inet。

  • 通貨型：money。

  • PostgreSQL システム型：name、uuid、oid。

  • その他の型：bytea、bit、varbit。

• PostgreSQL 互換関数や Hologres 拡張関数など、より多くの関数型をサポートしました。

  • 配列関数：array_length と array_positions を追加しました。

  • テーブルとデータベースのストレージサイズを表示する関数：pg_relation_size と pg_database_size。

• Hologres SQL コマンドを使用して、Hologres データを MaxCompute にエクスポートしてアーカイブすることをサポートします。

• Hologres バイナリロギングの購読をサポートします (ベータ版)。

• テーブルのビットマップ索引と辞書エンコーディングの動的変更をサポートします。データ特性に基づいて辞書エンコーディングを自動的に作成することをサポートします。

• 大規模なデータ同期と高 QPS のポイントクエリシナリオ向けに設計された Holo Client ライブラリをリリースしました。自動バッチ処理を使用してスループットを向上させます。

• JDBC 書き込みパイプラインとクエリオプティマイザーを最適化し、エンジンの書き込み効率を大幅に向上させました。

• Tableau Server や Superset などのより多くの BI ツールをサポートすることで、BI エコシステムとの接続性を改善し、さまざまなビジネス分析ニーズに対応します。

• JSON および JSONB データ型

• データ型

• ARRAY 関数

• テーブルストレージ関数

• MaxCompute へのデータのエクスポート

• Hologres バイナリログの購読

• ALTER TABLE

• Holo Client

セキュリティの強化

• ロールを想定して STS アカウントで Hologres にログインすることをサポートし、Alibaba Cloud アカウントを使用するよりも安全で柔軟なログインオプションを提供します。

RAM ロールベースの権限付与

コア機能の強化

説明

関連ドキュメント

エンジンの強化

• CREATE VIEW ステートメントを使用してビューを作成します。ビューは、単一のテーブル、複数のテーブル (内部テーブルと外部テーブルを含む)、または他のビューに基づいています。

• Hologres は、SERIAL、DATE、TIMESTAMP、VARCHAR(n)、CHAR(n) のデータ型をサポートするようになりました。さらに、MaxCompute 外部テーブルは Array データ型マッピングをサポートするようになりました。

• Hologres は INSERT ON CONFLICT をサポートするようになりました。この機能により、データを挿入する際にプライマリキーに基づいて重複行を更新またはスキップできます。

• Hologres は TRUNCATE ステートメントをサポートするようになりました。

• Hologres には、大規模なデータセットでのベクトル検索をサポートするために、組み込みの Proxima エンジンが含まれるようになりました。この機能は現在ベータ版です。

• VIEW

• データ型

• INSERT ON CONFLICT (UPSERT)

• Proxima ベクトル検索

セキュリティの強化

• Hologres はデータマスキングをサポートするようになりました。電話番号、住所、ID カード番号などの機密情報をマスキングするために、さまざまなマスキングポリシーを設定できます。

• Hologres は CloudMonitor と統合され、カスタムメトリック監視とワンクリックアラートをサポートするようになりました。

• データマスキング

MaxCompute 外部テーブルクエリの制約と制限

• MaxCompute パーティションテーブルをクエリする場合、以前のバージョンの 50 から増加して、最大 512 パーティションをスキャンできます。

• 外部テーブルと列の数に関係なく、クエリごとに最大 200 GB の基盤データをスキャンできるようになりました (以前は 100 GB)。

制約と制限