ApsaraDB for SelectDB:スキーマ変更

概要

次のいずれかの操作を実行することで、既存のテーブルのスキーマを変更できます。

• 列を作成または削除する。

• 列の型を変更する。

• 列の順序を変更する。

• Bloom フィルターインデックスを作成または変更する。

• ビットマップインデックスを作成または削除する。

用語

• ベーステーブル：新しいテーブルはそれぞれ、作成時にベーステーブルに対応します。

• rollup：rollup テーブルは、ベーステーブルまたは別の rollup テーブルから作成されます。

• インデックス：マテリアライズドインデックス。rollup テーブルとベーステーブルはどちらもマテリアライズドインデックスです。

• トランザクション：各インポートジョブはトランザクションです。各トランザクションは、一意の、インクリメンタルに割り当てられたトランザクション ID によって識別されます。

しくみ

スキーマ変更を実行する基本的なプロセスは、元のインデックスデータから新しいスキーマのインデックスデータを生成することです。このプロセスには、2 種類のデータの変換が含まれます。履歴データと、スキーマ変更中にインポートされるデータです。

+----------+
| Load Job | // ロードジョブ
+----+-----+
     |
     | Load job generates both origin and new index data // ロードジョブは元のインデックスデータと新しいインデックスデータの両方を生成します
     |
     |      +------------------+ +---------------+
     |      | Origin Index     | | Origin Index  | // 元のインデックス
     +------> New Incoming Data| | History Data  | // 新しい入力データ、履歴データ
     |      +------------------+ +------+--------+
     |                                  |
     |                                  | Convert history data // 履歴データを変換する
     |                                  |
     |      +------------------+ +------v--------+
     |      | New Index        | | New Index     | // 新しいインデックス
     +------> New Incoming Data| | History Data  | // 新しい入力データ、履歴データ
            +------------------+ +---------------+

履歴データが変換される前に、ApsaraDB for SelectDB は最新のトランザクション ID を取得し、ID が最新のトランザクション ID より小さいすべてのインポートトランザクションが完了するまで待機します。最新のトランザクション ID は分水嶺として指定されます。ApsaraDB for SelectDB は、分水嶺トランザクション ID の後に処理されるすべてのインポートジョブが、元のインデックスと新しいインデックスの両方のデータを同時に生成することを保証します。このようにして、ApsaraDB for SelectDB は、履歴データが変換された後に新しいインデックスに完全なデータが含まれることを保証します。

スキーマ変更ジョブの作成

既存のテーブルのスキーマを変更するには、次のステートメントを実行します。スキーマ変更は非同期操作です。スキーマ変更ジョブが送信されると、送信の確認が返されます。その後、SHOW ALTER ステートメントを実行して、ジョブの進捗状況をクエリできます。

構文

ALTER TABLE [database.]table <alter_clause>;

<alter_clause> 句を使用して、次のいずれかの方法でスキーマ変更操作を実行できます。

• 指定されたインデックスの指定された位置に列を挿入します。

  ADD COLUMN column_name column_type [KEY | agg_type] [DEFAULT "default_Value"]
  [AFTER column_name|FIRST]
  [TO rollup_index_name]
  [PROPERTIES ("key"="Value", ...)]

  説明

  • AGGREGATE KEY モデルを使用するインデックスに値列を挿入する場合、agg_type パラメーターを指定する必要があります。

  • DUPLICATE KEY モデルなどの非集計モデルを使用するインデックスにキー列を挿入する場合、KEY キーワードを指定する必要があります。

  • ベースインデックスに既に存在する列を rollup インデックスに挿入することはできません。ベースインデックスに既に存在する列を rollup インデックスに挿入する必要がある場合は、新しい rollup インデックスを作成できます。

• 指定されたインデックスに複数の列を挿入します。

  ADD COLUMN (column_name1 column_type [KEY | agg_type] DEFAULT "default_Value", ...)
  [TO rollup_index_name]
  [PROPERTIES ("key"="Value", ...)]

  説明

  • AGGREGATE KEY モデルを使用するインデックスに複数の値列を挿入する場合、agg_type パラメーターを指定する必要があります。

  • AGGREGATE KEY モデルを使用するインデックスに複数のキー列を挿入する場合、KEY キーワードを指定する必要があります。

  • ベースインデックスに既に存在する列を rollup インデックスに挿入することはできません。ベースインデックスに既に存在する列を rollup インデックスに挿入する必要がある場合は、新しい rollup インデックスを作成できます。

• 指定されたインデックスから列を削除します。

  DROP COLUMN column_name[FROM rollup_index_name]

  説明

  • パーティションキー列は削除できません。

  • ベースインデックスから列を削除すると、その列を含む rollup インデックスからも列が削除されます。

• 列の型を変更し、指定されたインデックスで列の位置を指定します。

  MODIFY COLUMN column_name column_type [KEY | agg_type] [NULL | NOT NULL] [DEFAULT "default_Value"]
  [AFTER column_name|FIRST]
  [FROM rollup_index_name]
  [PROPERTIES ("key"="Value", ...)]

  説明

  • AGGREGATE KEY モデルを使用するインデックスで値列を変更する場合、agg_type パラメーターを指定する必要があります。

  • 非集計モデルを使用するインデックスでキー列を変更する場合、KEY キーワードを指定する必要があります。

  • 列の型のみを変更できます。列の他のすべての属性は、MODIFY COLUMN ステートメントの元の列属性と一致している必要があります。 詳細については、このトピックの例セクションを参照してください。

  • パーティションキー列またはバケット列を変更することはできません。

  • 次の型の変換がサポートされています。 変換によって許容できない精度の損失が発生しないようにしてください。

    • TINYINT、SMALLINT、INT、BIGINT、LARGEINT、FLOAT、または DOUBLE 型の列を、より広い範囲の数値型に変換します。

    • TINTINT、SMALLINT、INT、BIGINT、LARGEINT、FLOAT、DOUBLE、または DECIMAL 型の列を VARCHAR 型に変換します。

    • VARCHAR 型の列の最大長を変更します。

    • VARCHAR または CHAR 型の列を TINTINT、SMALLINT、INT、BIGINT、LARGEINT、FLOAT、または DOUBLE 型に変換します。

    • VARCHAR または CHAR 型の列を DATE 型に変換します。次の日付形式がサポートされています：%Y-%m-%d、%y-%m-%d、%Y%m%d、%y%m%d、%Y/%m/%d、および %y/%m/%d。

    • DATETIME 型の列を DATE 型に変換します。年、月、日の情報のみが保持されます。たとえば、2019-12-09 21:47:05 は 2019-12-09 に変換されます。

    • DATE 型の列を DATETIME 型に変換します。時、分、秒は自動的に 0 で埋められます。たとえば、2019-12-09 は 2019-12-09 00:00:00 に変換されます。

    • FLOAT 型の列を DOUBLE 型に変換します。

    • INT 型の列を DATE 型に変換します。INT データの形式が無効な場合、変換は失敗します。この場合、元の列データは変更されません。

    • DATE 型と DATETIME 型以外のすべての型の列を STRING 型に変換できます。ただし、STRING 型の列を別の型に変換することはできません。

• 指定されたインデックスの列を並べ替えます。

  ORDER BY (column_name1, column_name2, ...)
  [FROM rollup_index_name]
  [PROPERTIES ("key"="Value", ...)]

  説明

  • インデックス内のすべての列を指定する必要があります。

  • 値列はキー列の後に続きます。

スキーマ変更ジョブのクエリ

SHOW ALTER TABLE COLUMN ステートメントを実行して、実行中または完了したスキーマ変更ジョブをクエリできます。スキーマ変更ジョブに複数のインデックスが関係している場合、ステートメントを実行すると複数の行が返されます。各行はインデックスに対応しています。

構文

SHOW ALTER TABLE COLUMN;

サンプルコード

SHOW ALTER TABLE COLUMN\G;
*************************** 1. row ***************************
        JobId: 20021  // ジョブID
    TableName: tbl1  // テーブル名
   CreateTime: 2019-08-05 23:03:13  // 作成時間
   FinishTime: 2019-08-05 23:03:42  // 終了時間
    IndexName: tbl1  // インデックス名
      IndexId: 20022  // インデックスID
OriginIndexId: 20017  // 元のインデックスID
SchemaVersion: 2:792557838  // スキーマバージョン
TransactionId: 10023  // トランザクションID
        State: FINISHED  // 状態
          Msg:   // メッセージ
     Progress: NULL  // 進捗状況
      Timeout: 86400  // タイムアウト
1 row in set (0.00 sec)

次の表にパラメーターを示します。

スキーマ変更ジョブのキャンセル

CANCEL ALTER TABLE COLUMN ステートメントを実行して、ジョブが FINISHED または CANCELLED 状態ではない場合にスキーマ変更ジョブをキャンセルできます。

構文

CANCEL ALTER TABLE COLUMN FROM <tbl_name>;

パラメーター

例

example_db.my_table テーブルで実行される ALTER COLUMN 操作をキャンセルします。

CANCEL ALTER TABLE COLUMNFROM example_db.my_table;

関連設定

フロントエンド設定

• alter_table_timeout_second：スキーマ変更ジョブのデフォルトのタイムアウト期間。デフォルト値：86400。単位：秒。

バックエンド設定

• alter_tablet_worker_count：バックエンドで履歴データを変換するために使用されるスレッドの数。デフォルト値：3。スキーマ変更ジョブを高速化するには、このパラメーターに大きい値を指定してバックエンドを再起動します。ただし、バックエンドで履歴データの変換に使用されるスレッドの数が多いほど、I/O 負荷が増加し、他の操作に影響を与える可能性があります。スレッドは rollup ジョブと共有されます。

• alter_index_worker_count：バックエンドで履歴データのインデックスを作成するために使用されるスレッドの数。デフォルト値：3。スキーマ変更ジョブを高速化するには、このパラメーターに大きい値を指定してバックエンドを再起動します。ただし、バックエンドで履歴データのインデックス作成に使用されるスレッドの数が多いほど、I/O 負荷が増加し、他の操作に影響を与える可能性があります。

  説明

  このパラメーターは、転置インデックスのみをサポートします。

FAQ

• Q：スキーマ変更ジョブの実行速度は？

  A：スキーマ変更ジョブの実行速度は、最悪の効率に基づいて約 10 MB/s と推定されます。実行速度に基づいて、スキーマ変更ジョブのタイムアウト期間を指定できます。

• Q：スキーマ変更ジョブを送信したときに Table xxx is not stable. ... エラーが報告された場合はどうすればよいですか？

  A：テーブルのデータが完全でバランスが取れている場合にのみ、テーブルでスキーマ変更操作を実行できます。テーブルの一部のデータシャードレプリカが不完全である場合、または一部のレプリカでバランシング操作が実行されている場合、システムはスキーマ変更ジョブを送信するリクエストを拒否します。

  次のステートメントを実行して、データシャードレプリカが完全かどうかを確認できます。

  ADMIN SHOW REPLICA STATUS FROM tbl WHERE STATUS != "OK";

  結果が返された場合、レプリカに問題があります。ほとんどの場合、システムはこれらの問題を自動的に修正します。次のステートメントを実行して、このテーブルを修正することもできます。

  ADMIN REPAIR TABLE tbl1;

  または、次のステートメントを実行して、1 つ以上のバランシング操作が実行されているかどうかを確認できます。

  SHOW PROC "/cluster_balance/pending_tablets";

  バランシング操作が完了するまで待機するか、次のステートメントを実行してバランシング操作を一時的に無効にすることができます。

  ADMIN SET FRONTEND CONFIG ("disable_balance" = "true");