このトピックでは、オブジェクトテーブルを使用して、Object Storage Service (OSS) に保存されている非構造化データをクエリ、フィルター、処理する例を説明します。
課金
課金モデルは操作によって異なります。
操作 | 課金モデル | 入力データ量の計算方法 |
キャッシュされたメタデータのリフレッシュ | 従量課金、外部テーブルモデル | OSS ファイルの数 (ファイルサイズではない) |
オブジェクトの表示、フィルター、または並べ替え | 従量課金、内部テーブルモデル | MaxCompute 内の Delta テーブルに保存されているメタデータ |
UDF を呼び出してファイルコンテンツを処理 | 従量課金、外部テーブルモデル | OSS ファイルの実際のサイズ |
メタデータフィルタリングを使用すると、処理タスク中に OSS フォルダーから不要なファイルを読み取ることを回避できます。
詳細については、「オブジェクトテーブルの課金」をご参照ください。
前提条件
開始する前に、以下の準備ができていることを確認してください。
object-table-bucketという名前の OSS バケットと、その中にot_openlakeという名前のフォルダー。ot_openlakeフォルダーにアップロードされた、unstructured_data.zip 内の非構造化データ。スキーマ機能が有効化された MaxCompute プロジェクト。この例では、アカウント UID
111740****241234、リージョンcn-shenzhen、プロジェクト名lakehouse_yunqi_demo_szを使用します。
利用可能なメタデータ列
オブジェクトテーブルの各行は 1 つの OSS オブジェクトを表します。以下の列は、クエリ、フィルター、並べ替えに使用できます。
列 | 型 | 説明 |
| STRING | OSS の場所内でのオブジェクトの相対パス |
| BIGINT | オブジェクトのサイズ (バイト単位) |
オブジェクトテーブルの作成
SET odps.namespace.schema=true;
DROP TABLE IF EXISTS lakehouse_yunqi_demo_sz.default.ot_openlake_demo;
CREATE OBJECT TABLE lakehouse_yunqi_demo_sz.default.ot_openlake_demo
WITH SERDEPROPERTIES (
'odps.properties.rolearn'='acs:ram::111740****241234:role/aliyunodpsdefaultrole')
LOCATION 'oss://oss-cn-shenzhen-internal.aliyuncs.com/object-table-bucket/ot_openlake/';オブジェクトテーブルの表示
SET odps.namespace.schema=true;
SHOW TABLES;以下の結果が返されます。
111740****241234:ot_openlake_demoCREATE TABLE ステートメントの表示
SET odps.namespace.schema=true;
SHOW CREATE TABLE ot_openlake_demo;以下の結果が返されます。
CREATE OBJECT TABLE IF NOT EXISTS lakehouse_yunqi_demo_sz.`default`.ot_openlake_demo
WITH SERDEPROPERTIES (
'serialization.format'='1',
'odps.properties.rolearn'='acs:ram::111740****241234:role/aliyunodpsdefaultrole')
LOCATION 'oss://oss-cn-shenzhen-internal.aliyuncs.com/object-table-bucket/ot_openlake/'
TBLPROPERTIES (
'last_modified_time'='1726564699',
'transient_lastDdlTime'='1726564699',
'metadata.cache.mode'='manual',
'metadata.staleness.seconds'='3600');キャッシュされたメタデータのリフレッシュ
SET odps.namespace.schema=true;
ALTER TABLE ot_openlake_demo REFRESH METADATA;オブジェクトテーブル内のオブジェクトのカウント
SET odps.namespace.schema=true;
SELECT COUNT(*) AS ROW_COUNT FROM ot_openlake_demo;以下の結果が返されます。
+---------+
|row_count|
+---------+
|4 |
+---------+オブジェクトのクエリ、フィルター、並べ替え
以下の各例は、さまざまなフィルタリングシナリオを対象としています。必要に応じて条件を組み合わせてください。
ファイル拡張子によるフィルター
SET odps.namespace.schema=true;
SELECT key, size FROM ot_openlake_demo
WHERE key LIKE '%.json';サイズによるフィルター
SET odps.namespace.schema=true;
SELECT key, size FROM ot_openlake_demo
WHERE size > 100;拡張子とサイズによるフィルター、サイズで降順に並べ替え
SET odps.namespace.schema=true;
SELECT key, size FROM ot_openlake_demo
WHERE key LIKE '%.json'
AND size > 100
ORDER BY size DESC
LIMIT 10;以下の結果が返されます。
+-----------------+-------+
|key | size |
+-----------------+-------+
|hex-char.json | 122 |
+-----------------+-------+UDF を使用した PDF テキストの取得
OSS 内の PDF ファイルからテキストを抽出するためのワークフローは以下のとおりです。
ユーザー定義関数 (UDF) スクリプトとその依存関係パッケージを MaxCompute プロジェクトにアップロードします。
UDF を登録します。
オブジェクトテーブルにクエリを発行し、オブジェクトキーとバイナリコンテンツを UDF に渡します。
ステップ 1:UDF のアップロードと登録
binary_pdf2text.py と pdf_tools_cp37.tar.gz をダウンロードし、以下の SQL を実行してファイルをアップロードし、MaxCompute プロジェクトに UDF を登録します。
-- ファイルを MaxCompute プロジェクトにアップロードします。
ADD py binary_pdf2text.py -f;
ADD archive pdf_tools_cp37.tar.gz -f;
-- UDF を登録します。
CREATE FUNCTION pdf2text AS binary_pdf2text.ExtractPDFText
USING 'binary_pdf2text.py, pdf_tools_cp37.tar.gz' -f;ステップ 2:PDF からのテキスト抽出
このクエリは、pdf2text に 2 つの引数を渡します。オブジェクトキー (オブジェクトテーブル内のパス) と、GET_DATA_FROM_OSS によって取得されるバイナリコンテンツです。GET_DATA_FROM_OSS の詳細については、「ビジネスコンピューティングのためのオブジェクトコンテンツのクエリ」をご参照ください。
demoday.pdf をダウンロードして ot_openlake フォルダーにアップロードし、以下を実行します。
SET odps.namespace.schema=true;
SET odps.sql.python.version=cp37;
SELECT key, size, get_json_object(
pdf2text(
key,
GET_DATA_FROM_OSS("lakehouse_yunqi_demo_sz.default.ot_openlake_demo", key)
),'$.text.0'
) AS text
FROM ot_openlake_demo
WHERE ends_with(cast(key as string), 'demoday.pdf') = true;以下の結果が返されます。
+------------+------------+------------+
| key | size | text |
+------------+------------+------------+
| demoday.pdf | 261567 | Simple Home Styling Simple Home Styling Easy Decorating To get started, just tap or click this placeholder text and begin typing. You can view and edit this document on your Mac, iPad, iPhone, or on...次のステップ
DataWorks コンソールでは、DataWorks Gallery の「OpenLake とオブジェクトテーブルに基づく非構造化データの処理」の例を使用して、オブジェクトテーブルの全機能を確認できます。