データ検出

DLF コンソールで、単一テーブルのデータをプレビューする方法、およびビジュアルクエリ、SQL、画像ベースの類似性検索を通じてデータを探索する方法について説明します。

ユースケース

[Data Preview] は、次のような場合に適しています。

テーブルのコンテンツと分布をすばやく確認する場合。
サンプリングプレビューで、データが期待どおりであるかをスポットチェックする場合。
実際のフィールド値を表示して、テーブルスキーマを検証する場合。
コンソールを離れることなく、単純な単一テーブルのクエリを実行する場合。

[Data Discovery] は、次のような場合に適しています。

ビジュアルインターフェイスを通じてデータをフィルターし、プレビューする場合。
カスタム SQL を使用して、クロステーブルクエリと集計分析を実行する場合。
結果セットをエクスポートする場合。

画像検索 は、次のような場合に適しています。

マルチモーダル検索の結果を検証し、ベクトル再現率の品質をテストする場合。
参照画像をアップロードし、個別のベクトル検索サービスを構築することなく、事前設定された埋め込み列から類似の画像を取得する場合。

説明

両方の機能は [Default Compute Resource] を使用し、小規模なデータセットの迅速な探索に最適です。大規模な分析には、Realtime Compute for Apache Flink、EMR Serverless Spark、EMR Serverless StarRocks などの専用のコンピューティングエンジンを使用してください。

料金

データプレビューとデータ検出は現在ベータ版であり、無料で使用できます。

前提条件

対象のテーブルに対する SELECT 権限が必要です。権限を付与する方法については、「データ権限の管理」をご参照ください。

データプレビュー

DLF コンソールにログインします。
ナビゲーションペインで、Catalogs を選択します。カタログツリーで、対象の [Catalog] > [Database] > [Table] に移動します。
テーブル詳細ページで、Data Preview タブをクリックします。

ビジュアルクエリ

Output Fields セクションで、表示する列を選択します。すべてのフィールドを含めるには Select All (*) を選択するか、プレビューする特定のフィールドを選択します。
(オプション) Filter Conditions セクションで、データをフィルタリングするための WHERE 条件を追加します。一般的な比較演算子と論理的な組み合わせを使用できます。フィルターが設定されていない場合は、すべてのデータが返されます。
(オプション) Advanced Query セクションで、高度なオプションを設定します。
- [Group By]：1つ以上のフィールドで結果を集計します。
- [Order By]：1つ以上のフィールドで結果を並べ替えます。
- [Limit]：返す行の最大数を設定します。
Run をクリックしてクエリを実行します。やり直すには、Reset をクリックします。

説明

大規模なテーブルに対するクエリは、[Default Compute Resource] の制限によりタイムアウトする場合があります。[Limit] とフィルター条件を使用して、結果セットを絞り込んでください。

画像検索

マルチモーダルデータ (画像埋め込み列など) を含むテーブルの場合、データプレビューは画像検索モードをサポートします。参照画像をアップロードすると、システムがそのベクトルを計算し、類似度が上位 N 件の画像を返します。個別のベクトル検索サービスは必要ありません。

マルチモーダルテーブルを開き、Data Preview タブに移動します。クエリ設定エリアで、[Image search] モードに切り替えます。
参照画像をアップロードし、取得する 結果数 (上位 N 件) を設定します。
Compute Resource を選択し、Run をクリックします。結果は、ベクトルの類似度に基づいて降順でランク付けされます。

DLF コンソールにログインします。
ナビゲーションペインで、Data Discovery を選択します。
探索モードを選択します。
- [Visual Exploration]：SQL を記述することなく、視覚的にデータをフィルターして、プレビューします。選択に基づいて、システムが自動的に SQL を生成します。
- [SQL Discovery]：SQL クエリを直接記述して実行します。構文ハイライト、検証、結果セットのエクスポート機能が含まれます。
- 画像検索：参照画像をアップロードして、事前設定された埋め込み列から類似の画像を取得します。システムが自動的にベクトルを計算し、上位 N 件の結果を返します。マルチモーダル検索の検証やベクトル再現率のテストに役立ちます。

説明

ページ上部からいつでもモードを切り替えることができます。

ビジュアルクエリ

クエリ設定エリアで、[Catalog]、[Database]、[Table] を選択します。
Output Fields セクションで、表示する列を選択します。すべてのフィールドを含めるには Select All (*) を選択するか、特定のフィールドを選択します。
(オプション) Filter Conditions セクションで、データをフィルタリングするための WHERE 条件を追加します。
(オプション) Advanced Query セクションで、高度なオプションを設定します。
- [Group By]：1つ以上のフィールドで結果を集計します。
- [Order By]：1つ以上のフィールドで結果を並べ替えます。
- [Limit]：返す行の最大数を設定します。
Run をクリックしてクエリを実行します。やり直すには、Reset をクリックします。

SQLクエリ

左側の Query List で、[+] (New Query) をクリックしてクエリエディタータブを開きます。
SQL エディターで、対象の [catalog] と [database] を選択します。

クエリを記述します。エディターには構文ハイライトと検証機能があります。

例：

SELECT col1, col2, COUNT(*) AS cnt
FROM my_table
WHERE dt = '2024-01-01'
GROUP BY col1, col2
ORDER BY cnt DESC
LIMIT 100;

[Run] をクリックして結果を表示します。
(オプション) Query List で過去のクエリを確認し、必要に応じて結果セットをエクスポートします。

画像検索

クエリ設定エリアで、[Catalog]、[Database]、[Table] を選択します。
[Image vector] セクションで、画像検索に使用するマルチモーダルフィールド (画像フィールド) を選択します。選択したフィールドでテーブルが画像ベースの検索をサポートしている場合、プロンプトが表示されます。
[Query image] セクションで、クエリ画像をアップロードし、取得する 結果数 を設定します。
Compute Resource を選択し、Run をクリックしてクエリを実行します。やり直すには、Reset をクリックします。