MaxCompute:Information Schema の概要

仕組み

Information Schema は以下の 2 種類のビューを提供します。

• メタデータビュー — プロジェクト内のテーブル、カラム、パーティション、ユーザー定義関数 (UDF)、リソース、ユーザー、ロール、権限、ラベルに関する情報。データはニアリアルタイムで、約 3 時間の遅延があります。

• 使用量ビュー — ジョブ履歴 (TASKS_HISTORY) およびデータトンネル履歴 (TUNNELS_HISTORY)。いずれもデータは 14 日間保持されます。また、プレビューとしてリアルタイムのジョブスナップショットビュー (TASKS) も利用可能です。

ビューをクエリするには、ビュー名の前に Information_Schema をプレフィックスとして付けます。

SELECT * FROM Information_Schema.tables;
SELECT * FROM Information_Schema.tasks_history WHERE ds='yyyymmdd' LIMIT 100;

MaxCompute 固有のビュー (TASKS、TASKS_HISTORY、TUNNELS_HISTORY など) は予告なく変更される可能性があります。フィールドが追加された際にクエリが中断されないようにするため、SELECT * ではなく、必要な特定のカラムのみを選択してください。

制限事項

• プロジェクトスコープ限定。 Information Schema は現在のプロジェクトのメタデータのみを提供します。複数のプロジェクトにわたるメタデータを分析するには、各プロジェクトから個別にデータを収集・統合する必要があります。

• ニアリアルタイム遅延。 メタデータビューには約 3 時間の遅延があります。遅延の影響を受けやすいユースケースでは、SDK または CLI を使用してオブジェクトのメタデータを直接クエリしてください。

• 14 日間の履歴保持期間。 TASKS_HISTORY および TUNNELS_HISTORY はデータを 14 日間保持します。14 日を超えて履歴を保持するには、定期的にデータを MaxCompute テーブルにエクスポートしてください。

• 新規プロジェクト (2024 年 3 月 1 日以降)。 プロジェクトレベルの Information Schema は自動的にプロビジョニングされません。テナントレベルの Information Schema を代わりに使用してください。

前提条件

作業を開始する前に、以下の条件を満たしていることを確認してください。

• 2024 年 3 月 1 日より前に作成された既存の MaxCompute プロジェクト

• プロジェクトオーナーのアクセス権、または Super_Administrator ロールが割り当てられた RAM ユーザー

権限パッケージのインストール

以下のコマンドを MaxCompute クライアント で実行するか、DataWorks コンソール の SQL クエリ ページで実行します。

install package Information_Schema.systables;

インストール後、Information Schema はクエリ可能な状態になります。メタデータのストレージは無料です。

パッケージに含まれるすべてのビューを一覧表示するには、以下のコマンドを実行します。

odps@myproject1> describe package Information_Schema.systables;

他のユーザーへのアクセス権付与

デフォルトでは、プロジェクトオーナーのみが Information Schema ビューをクエリできます。他のユーザーおよびロールは、明示的にアクセス権が付与されたデータのみを参照できます。アクセス権を付与するには、MaxCompute クライアントで以下のコマンドを実行します。

grant <actions> on package Information_Schema.systables to user <user_name>;
grant <actions> on package Information_Schema.systables to role <role_name>;

例:

grant read on package Information_Schema.systables to user RAM$Bob@aliyun.com:user01;

クロスプロジェクトのリソースアクセスの詳細については、「パッケージに基づくクロスプロジェクトリソースアクセス」をご参照ください。

課金

注意事項

• 特定のカラムを選択する。 MaxCompute 固有のビューは変更される可能性があります。SELECT * は避けて、必要なカラムのみを選択することで、フィールドが追加された際のクエリ中断を防いでください。

• エクスポート時にフィールド名を指定する。 INSERT INTO ... SELECT * FROM information_schema.*** は避けてください。ビューに新しいフィールドが追加された場合、ワイルドカード選択が失敗する可能性があります。常にフィールド名を明示的に記述してください。

• TASKS_HISTORY および TUNNELS_HISTORY は午前 6 時以降にクエリする。 毎日午前 6 時以降に前日のデータをクエリすることで、当日の未完了パーティションをスキャンすることを避け、入力データ量を削減し、クエリコストを抑えることができます。

クエリ例

以下は、Information Schema をクエリする一般的なパターンの例です。

現在のプロジェクト内のすべてのテーブルを一覧表示します。

SELECT table_name, table_type, is_partitioned, create_time
FROM Information_Schema.tables;

テーブルタイプごとの件数をカウントします。

SELECT table_type, COUNT(table_name) AS table_count
FROM Information_Schema.tables
GROUP BY table_type
ORDER BY table_count DESC;

特定の日付のジョブ履歴をクエリします。

SELECT task_name, task_type, status, start_time, end_time, input_bytes
FROM Information_Schema.tasks_history
WHERE ds = '20240101'
LIMIT 100;

メタデータビュー

以下の表は、すべてのビューとその主要な属性を一覧にしたものです。タスクに適したビューを選択する際にご活用ください。

次のステップ

• テナントレベルの Information Schema — 2024 年 3 月 1 日以降に作成されたプロジェクト、または複数のプロジェクトにわたるメタデータをクエリする場合にご利用ください。

• ユーザーへのロール割り当て — 権限パッケージのインストールに必要な Super_Administrator ロールを管理します。

• パッケージに基づくクロスプロジェクトリソースアクセス — 他のユーザーおよびロールに対する Information Schema アクセスを管理します。