MaxCompute は、非構造化データを処理するための関数を提供しており、データウェアハウスやデータレイクに格納されているデータとメタデータにアクセスできます。
非構造化データ向けの組み込み関数
MaxCompute は、オブジェクトテーブル機能をサポートします。この機能により、データウェアハウスのコンピューティングエンジンは OSS に格納されている非構造化データとそのメタデータにアクセスできます。また、OSS ファイルデータを処理するための関数も提供しています。詳細については、「オブジェクトテーブルの定義」をご参照ください。
関数 | 説明 |
オブジェクトのコンテンツの全部または一部を読み取り、バイナリデータとして返します。 | |
HTTP 経由で OSS ファイルを直接読み書きするために使用できる署名付き URL を生成します。 | |
OSS オブジェクトへの BLOB 参照を生成します。この参照には、ストレージの場所、バイト範囲、オプションの Content-Type などの情報が含まれます。 |
非構造化データ向けのカスタム UDF
以下のカスタムユーザー定義関数 (UDF) の例では、オブジェクトテーブルを使用してデータレイク内の非構造化データとそのメタデータにアクセスする方法を示します。
タイプ | 関数 | 説明 |
メタデータ処理 (Java) | ファイルのメタデータを取得します。 | |
ファイルから | ||
IANA レジストリに基づいて、ファイルのトップレベルの MIME メディアタイプを検出します。 | ||
ファイルの完全な MIME コンテンツタイプ (Content-Type) を返します。 | ||
ファイルパスからファイル名を抽出します。 | ||
コンテンツ処理 (Python) | PDF ファイルからコンテンツをテキストとして抽出します。 |
アーカイブファイル関数
MaxCompute は、SQL でアーカイブファイルからバイナリデータを直接パースするための新しい組み込みスカラー関数を 2 つ提供します。これらの関数を使用すると、アーカイブファイルをディスクに展開することなく、zip、jar、tar、tar.gz、tar.bz2、tar.xz、tar.zst など、さまざまなアーカイブ形式内のファイルのメタデータとコンテンツを読み取ることができます。
関数 | 説明 |
アーカイブファイル内のすべてのエントリのメタデータを一覧表示します。 | |
アーカイブファイルから、ファイル名とコンテンツの対応関係を抽出します。 |