E-MapReduce:共有データインスタンスのクイックスタート

前提条件

• Alibaba Cloud アカウントを登録し、本人確認を完了していること。

• RAM ユーザーとして、AliyunEMRStarRocksFullAccess システムポリシーが必要です。詳細については、「RAM ユーザーへの権限付与」をご参照ください。

  説明

  AliyunEMRStarRocksFullAccess システムポリシーは、StarRocks インスタンスの作成と管理に必要です。

注意事項

コードの実行環境の管理と設定は、お客様の責任となります。

操作手順

ステップ 2：StarRocks インスタンスへの接続

1. インスタンスのリスト ページで、ターゲットインスタンスを見つけ、操作 列の インスタンスの接続 をクリックします。

   他の方法で StarRocks インスタンスに接続することもできます。

2. StarRocks インスタンスに接続します。

   1. New Connection タブで、以下のパラメーターを設定します。

      設定完了後、[ネットワーク接続のテスト] をクリックして接続を検証し、[OK] をクリックして作成します。

      パラメーター	例	説明
      Region	中国 (杭州)	作成した StarRocks インスタンスの物理的な場所を選択します。
      インスタンス	StarRocks_Serverless	作成した StarRocks インスタンスの名前を選択します。
      Name	Connection_Serverless	カスタムの接続名を入力します。 名前は 1〜64 文字で、漢字、英字、数字、ハイフン (-)、アンダースコア (_) を含めることができます。
      ユーザー名	実際のニーズに基づいて値を入力します。	デフォルトの初期ユーザー名は admin です。このユーザー名を使用して接続するか、必要に応じて他のユーザーを作成できます。ユーザーの作成方法の詳細については、「ユーザーとデータ認可の管理」をご参照ください。
      Password	要件に基づいて値を入力します。	StarRocks インスタンスで作成されたユーザー名に対応するパスワード。

   2. Test Connectivity をクリックします。

   3. 接続テストが成功した後、OK をクリックします。

      [SQL エディタ] ページにリダイレクトされ、SQL クエリを実行できます。詳細については、「EMR StarRocks Manager を使用して StarRocks インスタンスに接続する」をご参照ください。

ステップ 3：SQL クエリの実行

1. [SQL エディタ] の Queries ページで、 アイコンをクリックします。

2. New ダイアログボックスで、Confirm をクリックします。

3. 新しいファイルに次のコマンドを入力します。すべてのコマンドを選択し、実行 をクリックします。

   /**データベースの作成**/
   CREATE DATABASE IF NOT EXISTS load_test;
   
   /**データベースの使用**/
   USE load_test;
   
   /**テーブルの作成**/
   CREATE TABLE insert_wiki_edit
   (
       event_time DATETIME,
       channel VARCHAR(32) DEFAULT '',
       user VARCHAR(128) DEFAULT '',
       is_anonymous TINYINT DEFAULT '0',
       is_minor TINYINT DEFAULT '0',
       is_new TINYINT DEFAULT '0',
       is_robot TINYINT DEFAULT '0',
       is_unpatrolled TINYINT DEFAULT '0',
       delta INT SUM DEFAULT '0',
       added INT SUM DEFAULT '0',
       deleted INT SUM DEFAULT '0'
   )
   AGGREGATE KEY(event_time, channel, user, is_anonymous, is_minor, is_new, is_robot, is_unpatrolled)
   PARTITION BY RANGE(event_time)
   (
       PARTITION p06 VALUES LESS THAN ('2015-09-12 06:00:00'),
       PARTITION p12 VALUES LESS THAN ('2015-09-12 12:00:00'),
       PARTITION p18 VALUES LESS THAN ('2015-09-12 18:00:00'),
       PARTITION p24 VALUES LESS THAN ('2015-09-13 00:00:00')
   )
   DISTRIBUTED BY HASH(user) BUCKETS 10
   PROPERTIES("replication_num" = "1");
   
   /**データの挿入**/
   INSERT INTO insert_wiki_edit VALUES("2015-09-12 00:00:00","#en.wikipedia","GELongstreet",0,0,0,0,0,36,36,0),("2015-09-12 00:00:00","#ca.wikipedia","PereBot",0,1,0,1,0,17,17,0);
   
   /**データのクエリ**/
   select * from insert_wiki_edit;

システムから関連情報が返されます。

SHOW CREATE TABLE load_test.insert_wiki_edit; コマンドを実行します。返された結果には datacache.enable プロパティが含まれており、ストレージコンピューティング分離が有効であることを確認できます。以下のコードは、主要な PROPERTIES セクションの例です。

DISTRIBUTED BY HASH(user) BUCKETS 10 PROPERTIES ("replication_num" = "1", "datacache.enable" = "true", "storage_volume" = "builtin_storage_volume", "enable_async_write_back" = "false", "enable_persistent_index" = "false", "compression" = "LZ4");

ステップ 4：テーブル情報の表示

1. 新しいファイルで、次のコマンドを実行してデータベースを表示します。

   SHOW PROC '/dbs';

   結果には 5 つのデータベースがリストされます：information_schema (DbId=1, TableNum=46)、sys (DbId=100, TableNum=6)、_starrocks_audit_db_ (DbId=10004, TableNum=1)、_statistics_ (DbId=10023, TableNum=8)、および load_test (DbId=10120, TableNum=1)。各々の Quota は 8,388,608.000 TB で、LastConsistencyCheckTime 列は空です。

2. 次のコマンドを実行して、詳細なテーブル情報を表示します。

   SHOW PROC '/dbs/10120';

   結果には、TableId、TableName、IndexNum、PartitionColumnName、PartitionNum、State、Type、ReplicaCount、PartitionType、StoragePath などの列が含まれます。

   ストレージコンピューティング分離モードでは、CLOUD_NATIVE の Type は共有データテーブルを識別します。StoragePath は、テーブルのデータが保存されている場所を示します。

ステップ 5：キャッシュ機能のデモ

1. 左側のナビゲーションウィンドウで、Diagnostics and Analytics > SQL タスク を選択します。

2. クエリを見つけて、クエリ ID をクリックします。

3. [実行詳細] タブをクリックします。

   プロファイルの実行ツリーで、関連するノードを見つけ、右側に次のメトリックを見つけることができます：CompressedBytesReadLocalDisk (ローカルキャッシュから読み取り) と CompressedBytesReadRemote (リモート OSS から読み取り)。

   この例では、insert_wiki_edit_cache テーブルでローカルキャッシュが有効になっています。メトリック値を観察することで、クエリが完全にローカルキャッシュにヒットしたことを確認できます。

   CONNECTOR_SCAN ノードのメトリックパネルでは、CompressedBytesReadLocalDisk の値は 729.52 MB で、CompressedBytesReadRemote の値は 0.00 です。

   insert_wiki_edit_nocache テーブルのメトリックは、クエリがローカルキャッシュにヒットせず、すべてのデータがリモート OSS から読み取られたことを示しています。

   insert_wiki_edit_nocache テーブルに対応する CONNECTOR_SCAN ノードでは、CompressedBytesReadLocalDisk は 0.00 で、CompressedBytesReadRemote は 804.63 MB です。これは、すべてのデータがリモート OSS から読み取られ、ローカルキャッシュにヒットしなかったことを示しています。

ステップ 6：パフォーマンステストの実行

この例では、ストレージコンピューティング分離 (ローカルキャッシュあり) とストレージコンピューティング統合のクエリパフォーマンスを比較します。より詳細なパフォーマンス比較のために SSB テストセットを使用できます。詳細については、「SSB パフォーマンステストの手順」をご参照ください。

• データ環境の準備

  • クラスターリソース構成：1 FE (8 CU) + 3 CN (コンピューティング：16 CU | ストレージ：1,000 GB)。

  • クラスターパラメーター：デフォルト設定を使用します。ストレージコンピューティング分離クラスターでローカルキャッシュを有効にします。

  • データ量：500 GB (sf=500)

• テスト結果

  • ストレージコンピューティング統合の合計時間：21.586秒

  • ストレージコンピューティング分離の合計時間 (2 回目の実行でローカルキャッシュ有効)：27.364秒

  • ストレージコンピューティング分離の合計時間 (ローカルキャッシュ無効)：117.529秒

sh ssb_query.sh ssb スクリプトで SSB テストを実行した結果、ローカルキャッシュが有効な場合、ストレージコンピューティング分離のクエリパフォーマンスはストレージコンピューティング統合とほぼ同じであり、ローカルキャッシュがない場合よりも大幅に優れていることがわかります。

(オプション) ステップ 7：インスタンスのリリース

追加料金が発生しないように、不要になったインスタンスはリリースしてください。

1. Instances ページで、インスタンスの [操作] 列にある Release をクリックします。

2. 表示されるダイアログボックスで、決定 をクリックします。

関連ドキュメント

• SQL エディタの詳細については、「SQL エディタ」をご参照ください。

• 現在のインスタンスの SQL クエリ情報を表示し、SQL 実行計画を分析し、SQL の問題を診断およびトラブルシューティングするには、「診断と分析」をご参照ください。

• データベースで発生するすべての操作を表示および分析するには、「監査ログ」をご参照ください。

お問い合わせ

ご不明な点がございましたら、DingTalk グループ ID 24010016636 を検索して、サポートグループにご参加ください。