E-MapReduce:コンソールのリリース履歴

機能カテゴリ

説明

インスタンス管理

• 新機能

  • 柔軟で分離されたコンパクションサービスを提供する Compaction Service (StarRocks 3.5 のみ) を導入しました。この機能は現在ベータ版です。

  • モニタリングとアラート：

    • 生の監視メトリクスデータを Log Service (SLS) に配信して、カスタム監視ができるようになりました。

    • マテリアライズドビューのステータスが「非アクティブ」または「無効」になった場合にアラートを設定できるようになりました。

• 機能の最適化

  • クエリインサイト、インポートインサイト、キャッシュインサイトを含むビジネスインサイトのコンテンツを再構築し、最適化しました。詳細については、コンソールの対応するページをご参照ください。

  • 集中操作メニューを改善しました。

StarRocks Manager

• 機能の最適化

  • SQL Editor を開くと、現在のユーザーに指定されたウェアハウスがデフォルトで設定されるようになりました。

  • SQL タスクでスキャンされた行数を表示できるようになりました。

  • 一部のシナリオでプロファイルの作成が妨げられる問題を修正するため、プロファイルの生成を最適化しました。

  • 外部テーブルのメタデータでデータベースとテーブルのサイズやデータ量が表示されなくなりました。この変更により、Hive Metastore (HMS) などの外部メタデータサービスの安定性に影響を与える可能性のある、過度なスキャンを防ぎます。

機能カテゴリ

説明

インスタンス管理

• 新機能

  • サブスクリプションインスタンスを従量課金インスタンスに変換できるようになりました。

  • ウェアハウスがタグをサポートし、請求明細でウェアハウスごとにコストを区別できるようになりました。

  • すべてのインスタンスにまたがって迅速に操作を実行できる集中操作機能を導入しました。

  • インスタンス作成時に Data Lake Formation (DLF) サービスと関連付けることができるようになりました。

  • AI 機能をベータ版としてリリースしました。

  • Apache Ranger でウェアハウスの権限を管理できるようになりました。

• 機能の最適化

  • 重大なバグがあるソフトウェアスタックに対して、バージョンアップの推奨事項と、これらのバグに関するハイライトされた警告およびイベント通知を追加しました。

  • [ヘルス診断] > [診断デイリー] レポートに新しい診断項目を追加しました。これには、主キーインデックスの永続化が有効になっているか、インデックスタイプが cloud_native であるか、バケットサイズが 5 GB 未満であるかのチェックが含まれます。

  • インスタンスをスケールアウトまたはスペックアップする際に、在庫事前チェックを追加しました。

  • [リアルタイム診断] がウェアハウスによるフィルタリングをサポートするようになりました。

  • スケーリングイベントの進行中に Auto Scaling ルールを変更できるようになりました。

• バグ修正

  • システムディスクがいっぱいになる可能性のある問題を解決しました。

  • 共有データインスタンスのモニタリングページにある [Compaction グループ] セクションから無効なチャートを削除しました。

StarRocks Manager

• 新機能

  • ユーザーを RAM ロールに関連付けて、権限を DLF と統合できるようになりました。

• 機能の最適化

  • [SQL タスク] > [実行中のタスク] ページで、複数のタスクを一度に終了させたり、フィールドでタスクをソートしたりできるようになりました。

  • [インポートタスク] ページがフィルタリングをサポートし、タスク期間のフィールドを含むようになりました。

機能カテゴリ

説明

インスタンス管理

• 新機能

  • イベントセンターが Cloud Monitor Service (CMS) と統合されました。CMS で StarRocks インスタンスのイベントを表示できます。

  • アラートテンプレートのサポートを追加し、ワンクリックで基本的なアラート設定を完了できるようになりました。

  • クエリ、トランザクション、データベースロック、ノードステータス、FE メモリ、マテリアライズドビューのメトリクスなど、新しい CloudMonitor メトリクスを追加しました。これらはアラートの設定に使用できます。

  • ヘルス診断デイリーレポートが正式リリースされました。毎日自動的にヘルス評価を実行し、リソース構成、クエリ、インポート、コンパクション、テーブル/キャッシュ分析などのディメンションにわたる評価項目と最適化の推奨事項を提供します。

  • [コスト詳細] ページで、インスタンスとウェアハウスごとに統計を収集し、データをエクスポートできるようになりました。

  • Terraform Provider が StarRocks インスタンスの Auto Scaling をサポートするようになりました。

  • 共有データインスタンスが、スケールイン時に部分的なグレースフルシャットダウン機能をサポートするようになりました。ノードが拒否リストに追加された後、システムはスケールインする前にデフォルトで 30 秒間待機します。

  • 共有なしインスタンスをスケールインする際に、複数の BE/CN ノードを並行して選択し、廃止できるようになりました。注意：この操作は高いリスクを伴います。

  • BE ノードがポート 9060 を公開し、Spark から StarRocks インスタンスへのパブリックネットワークアクセスを許可するようになりました。

• 機能の最適化

  • コンソールで emr_internal_redirect パラメーターを変更できるようになりました。これにより、Stream Load が V2 を使用し、Server Load Balancer (SLB) のストリーミングを回避できます。

• バグ修正

  • システムディスクがいっぱいになる可能性のある問題を解決しました。

  • 共有データインスタンスのモニタリングページにある Compaction グループセクションから無効なチャートを削除しました。

StarRocks Manager

• 機能の最適化

  • タスクが正常に完了したにもかかわらず、タイムアウトとして報告される問題に対処しました。

• バグ修正

  • クエリが正常に実行されたにもかかわらず、失敗として報告される問題を解決しました (例：クエリ SQL に LIMIT 100 を追加すると、正しい結果と正常なタスクステータスが返される)。

ドキュメント

• 重大なバグの通知ドキュメントを追加しました。

• バージョンライフサイクルポリシードキュメントを追加しました。

• 制限事項ドキュメントを更新し、テーブル設計フェーズで変更できない 3 つのパラメーターを追加しました。

機能カテゴリ

説明

インスタンス管理

• 新機能

  • [イベントセンター] 機能が正式リリースされました。Elastic Compute Service (ECS) や Object Storage Service (OSS) などのサービスからの基盤となるイベントの通知を提供します。

  • 共有データインスタンスでエラスティック一時ディスクがサポートされるようになりました。この機能はベータ版であり、特定のリージョンとゾーンでのみ利用可能です。

  • 共有データインスタンスのウェアハウスでクラウドディスクをスケールインできるようになりました。

  • 共有データインスタンスのマルチゾーンディザスタリカバリ機能が正式リリースされました。

  • 既存の [リアルタイム診断] モジュールを含み、新しい [診断デイリー] 機能 (現在ベータ版) を追加した [ヘルス診断] 機能を導入しました。[診断デイリー] は、直感的なヘルススコアとともに、さまざまなヘルス指標に関する評価、提案、ベストプラクティスを提供します。

  • インスタンス作成時に SLB とスタンドアロンエージェントを有効にできるようになりました。

  • EMR StarRocks API がインスタンスリストのクエリをサポートするようになりました。

• 機能の最適化

  • Auto Scaling が複数のスケーリングルールをサポートするようになりました。

  • [ヘルスレポート] 機能はビジネスインサイトに名称変更されました。この機能は、データとビジネスのガバナンスをサポートするための多次元的なビジネスレポートを提供します。

  • ビジネスインサイト：「過去 90 日間にアクセスされていないテーブル」レポートを追加しました。

  • [ログ検索] が、SLS コストを削減するために配信する特定のログファイルの選択をサポートするようになりました。

  • デフォルトの JAVA_OPTS パラメーターを最適化しました。

  • インスタンスの再起動プロセスを改善しました。

  • [リアルタイム診断] における、CPU とメモリの消費量に関するデータソースを最適化しました。

  • [リアルタイム診断] ページを改善しました。

  • いくつかのモニタリングダッシュボードを改善し、新しい監視メトリクスを追加しました。

  • インスタンス作成時の vSwitch とゾーン選択プロセスを改善しました。

  • [モニタリングとアラート] が、迅速な時間範囲選択をサポートするようになりました。

• バグ修正

  • FE ディスクがいっぱいになる可能性のある問題を解決しました。

  • インスタンスの削除プロセスが時々ブロックされる問題を解決しました。

StarRocks Manager

• 新機能

  • [SQL Editor] に 1 TB の TPC-H および TPC-DS テストテンプレートを追加しました。

• 機能の最適化

  • 新規ユーザー作成時にユーザープロパティを設定できるようになりました。

  • 既存の StarRocks ユーザーを RAM ロールに関連付けて、権限を DLF と統合できるようになりました。

  • [監査ログ] が SQL フィンガープリント機能をサポートするようになりました。

• バグ修正

  • [SQL タスクリスト] ページでブラウザが時々フリーズする問題を解決しました。

機能カテゴリ

説明

インスタンス管理

• コンピューティング最適化 CU タイプを導入しました。このタイプは vCPU 対メモリ比が 1:2 で、CPU 負荷の高いシナリオに適しています。この機能は許可リスト経由で利用可能です。

• Terraform を使用してインスタンスを作成できるようになりました。

機能カテゴリ

説明

インスタンス管理

• 新機能

  • セキュリティを強化するため、クラウドディスク暗号化 (共有なしインスタンス用) と SSL 暗号化のサポートを導入しました。

  • FE ノードがメモリ拡張インスタンスファミリーをサポートするようになりました。これは FE のメモリ消費量が多いシナリオに適しています。

  • 共有なしインスタンスが高速再起動をサポートし、再起動効率を向上させました。

  • StarRocks インスタンスにカスタムドメイン名を設定して、そのサービスにアクセスできるようになりました。

  • サブスクリプションインスタンスの場合、従量課金のウェアハウスをサブスクリプション課金モデルに変換できるようになりました。

  • インスタンス購入時に特定のクーポンを適用できるようになりました。

• 機能の最適化

  • インスタンス購入ページを改善しました。

  • パラメーター設定で各ソフトウェアスタックバージョンの設定項目の表示を改善しました。

  • これで、CloudMonitor の新しいアラートルールを、コンソールの [モニタリングとアラート] > [アラート設定] ページで表示できるようになりました。

  • Apache Ranger を使用した StarRocks の管理サポートを追加しました。

  • ウェアハウスが説明をサポートするようになりました。

  • 「[インスタンスの詳細]」ページに、カーネル リリースノートへのリンクを追加しました。

  • 監視メトリクスの拡張：

    • FE ノードのメモリ使用量を表示できるようになりました。

    • BE ノードの平均 CPU、メモリ、ディスク使用率の履歴トレンドを表示できるようになりました。

StarRocks Manager

• 新機能

  [SQL Editor] のクエリ結果に、対応するデータの型が含まれ、null 値をサポートするようになりました。

• 機能の最適化

  • [SQL Editor] で SQL ステートメントを実行するためのドキュメントを追加しました。セミコロン (;) を含むステートメントには、デリミタとして $$ が必要になりました。

  • 共有なしインスタンスでの非同期マテリアライズドビュータスクの実行終了時刻の表示を改善しました。

  • StarRocks Manager の [概要] ページのコンテンツ表示を改善しました。

• バグ修正

  メタデータ管理で Paimon カタログが時々ロードに失敗したり、データを正しく表示できなかったりする問題を解決しました。

機能カテゴリ

説明

インスタンス管理

• 新機能

  • ログ検索機能を導入しました。これにより、詳細なインスタンスログをクエリしてタスクの例外をトラブルシューティングできます。

  • ゲートウェイ管理機能を導入しました。これにより、FE ノードをグループに分離し、リーダーノードを書き込み操作のみに制限できます。また、SLB の負荷分散を有効にして、インスタンスの安定性をさらに向上させることもサポートします。

  • ノード数が 3 を超える場合に FE ノードをスケールインできるようになりました。

  • これで、[インスタンスの詳細] ページで移行に必要なトークンを取得できるようになりました。

  • 日本 (東京) リージョンが利用可能になりました。

• 機能の最適化

  • インスタンスのスペックアップ中に表示される再起動プロンプトを改善しました。

  • リアルタイム診断ページを改善しました。

  • インスタンス作成時に最新のマイナーバージョン番号を確認できるようになりました。

  • Kerberos と Ranger の設定を追加しました。

  • モニタリングチャートのユーザーエクスペリエンスを改善しました。

  • コンソール概要ページを改善しました。

  • インスタンスをすぐに再起動せずに設定を変更できるようになりました。これにより、後で他の操作と再起動を組み合わせて、サービス停止時間を短縮できます。

StarRocks Manager

• ［メタデータ管理］ページで、［カタログ］セクションの検索がサポートされるようになりました。

• SQL クエリ履歴：現在のインスタンスに影響を与えずにパフォーマンスを改善しました。

• ユーザーページに検索ボックスを追加し、ユーザーを迅速に見つけられるようにしました。

• インポートタスクフィルターのインタラクションデザインを改善しました。

• [クエリ詳細] ページのコンテンツ表示を改善しました。

• 機能強化された [SQL エディター]。

機能カテゴリ

説明

インスタンス操作

• 新機能

  • メモリ拡張型 (RCU) やネットワーク拡張型 (NCU) などの新しい CU タイプをサポートし、さまざまなシナリオでの多様なパフォーマンスニーズに対応します。

  • 設定変更やインスタンスのスケーリングなど、再起動が必要な操作で高速再起動オプションがサポートされるようになりました。

  • admin ユーザーのパスワードをリセットできるようになりました。

  • 共有データインスタンスがシングル CN ノードをサポートするようになりました。

• 機能の最適化

  • リアルタイム診断とヘルスレポート機能を強化しました。

  • バージョンアッププロセスのパフォーマンスを改善しました。

  • モニタリングとアラートメトリクスの改善：

    • FE ディスクメトリクスやコンピューティングノードの IOUtil など、新しい監視メトリクスをサポートしました。

    • ストレージ関連のメトリクスが、モニタリングと管理を容易にするために、別の [ストレージ] タブに表示されるようになりました。

StarRocks Manager

• 新機能

  • [メタデータ管理]：テーブル、データベース、マテリアライズドビューを視覚的に作成し、マテリアライズドビュー情報を表示できるようになりました。

  • [セキュリティセンター]：ユーザー、ロール、権限の視覚的な RBAC 管理をサポートします。

  • SQL エディター: LIMIT 句の構成をサポートします。

• 機能の最適化

  • [SQL Editor] を改善しました。

  • SQL プロファイルの表示を改善しました。

  • メタデータ管理におけるフルテーブルのソートや検索などの機能を改善しました。

機能カテゴリ

説明

コンソール機能

• 共有なしインスタンスがバックアップと復元をサポートするようになりました (ベータ版)。

• タイムゾーンを切り替えられるようになりました。

• ヘルスレポート機能の改善：

  • キャッシュ解析レポートを追加しました。

  • SQL クエリ分析にクエリレイテンシー P99 と DB ロックのメトリクスが含まれるようになりました。

• [クエリプロファイル]：「時間別トップ 10」と「メモリ別トップ 10」の統計を追加しました。

• スロークエリ: CPU およびメモリのリソース消費量に関するフィールドを追加しました。

機能カテゴリ

説明

コンソール機能

• インスタンスが Alibaba Cloud リソースグループ管理をサポートするようになり、リソースグループとタグを使用してインスタンスをより効果的に管理できます。

• マテリアライズドビュー機能が利用可能になりました。StarRocks Manager でマテリアライズドビューとそのタスク情報を表示できます。

• すぐに使える TPC-DS および TPC-H テストスクリプトが利用可能になりました。StarRocks Manager の [SQL Editor] で直接テストを実行できます。

• これで、INSERT INTO タスク（それらのレコードおよび詳細を含む）を、[インポートタスク] ページまたは [SQL タスク] ページで表示できるようになりました。

• 機能の最適化：

  • プロファイルのメトリックコンテンツを強化しました。

  • ディスク空き容量低下の通知を改善しました。

機能カテゴリ

説明

コンソール機能

• インスタンスがスケジュールに基づく Auto Scaling をサポートするようになりました (現在は従量課金インスタンスに限定)。

• 監視メトリクスを充実させ、モニタリングレポートを改善しました。

StarRocks Manager の機能強化

• [クエリプロファイル] が、SQL クエリの分析と最適化に役立つ診断提案カードを提供するようになりました。

• 「すべてのクエリ」ビューに、構文コンパイルエラーで失敗した SQL クエリが含まれるようになりました。

エクスペリエンスの最適化

• 購入プロセスにおけるユーザープロンプトを改善しました。

• ヘルスレポートページのクエリ ID のリンクと関連テキストを改善しました。

• [クエリプロファイル] ページの文言を改善しました。

• [SQL Editor] の実行効率を改善しました。

機能カテゴリ

説明

コンソール機能

• 現在、[Shared-nothing]、[Data Lake Analytics edition]、[Shared-data] の 3 つのインスタンスタイプが利用可能です。

• 診断分析機能を強化：SQL クエリ分析、テーブル分析、インポートタスク分析などをサポートし、問題のあるタスクやデータを迅速に特定するのに役立ちます。

• インスタンス設定ページを改善しました。

機能カテゴリ

説明

共有データユースケース

• [メタデータ管理] が、データベース、テーブル、パーティション、キャッシュの情報の表示をサポートするようになりました。

• [クエリプロファイル] にキャッシュヒット分析メトリクスを追加しました。

データレイク分析ユースケース

• [メタデータ管理] が、外部カタログからの外部テーブル情報の表示をサポートするようになりました。

• OSS のパスワードなし設定をサポートしました。

コンソール機能の強化

• ディスクパフォーマンスレベル (PL) のアップグレードを含む、クラウドディスク設定を変更できるようになりました。

• ディスク数を増やすことでクラウドディスクをアップグレードできるようになりました。

• インスタンス作成時にクラウドディスクの数を調整できるようになりました。

• デフォルトの設定項目を最適化しました。

• ホットスポットメトリクスのクエリをサポートするようにモニタリング機能を改善しました。

• 操作タスク機能が改善され、操作詳細が表示されるようになりました。

• 監査ログを有効にするための確認プロンプトを追加しました。

StarRocks Manager の機能強化

• StarRocks Manager の接続ページとログインページを改善しました。

• StarRocks Manager がライトテーマとダークテーマをサポートするようになりました。

• [ユーザー管理] 機能に、[説明] フィールドが追加されました。

新規リージョン

中国 (張家口) リージョンが利用可能になりました。