Object Table 常用函數概述 - MaxCompute

MaxCompute支援通過多種方式對接數倉或資料湖中儲存的非結構化資料及其元資訊。本文介紹MaxCompute支援的非結構化處理函數能力。

非結構化處理函數（內建函數）

MaxCompute支援Object Table功能，支援數倉計算引擎訪問OSS儲存的非結構化資料及其元資訊。同時，系統提供了相應的OSS檔案資料處理函數，詳情請參見Object Table定義。

函數	功能
GET_DATA_FROM_OSS	讀取一個對象的部分或全部內容，並以二進位形式返回。
GET_SIGNED_URL_FROM_OSS	產生用於下載或上傳OSS資料的預簽名URL，使使用者通過HTTP協議直接讀寫OSS檔案。
GET_BLOB_FROM_OSS	產生一個指向OSS對象的、包含儲存位置、位元組範圍和可選內容類型等資訊的Blob引用。

如下為一些自訂UDF樣本，介紹如何使用Object Table訪問資料湖儲存中的非結構化資料及其元資訊。

類型	函數	功能
元資訊處理（Java）	GetFileMeta	用於擷取檔案的中繼資料。
	GetFileFormat	用於提取檔案的詳細格式，例如`json`、`csv`、`orc`、`parquet`等。
	GetFileMediaType	用於根據IANA註冊表檢測檔案的頂級MIME媒體類型。
	GetFileContentType	用於返迴文件的完整MIME內容類型（Content-Type）。
	GetFileName	用於從檔案路徑中提取檔案名稱。
內容處理（Python）	調用UDF擷取PDF文本	用於將PDF中的內容提取成文本。

MaxCompute 新增了兩個內建純量涵式，用於直接在 SQL 中解析歸檔檔案（archive）的位元據。無需先將歸檔解壓到磁碟，即可讀取 zip / jar / tar / tar.gz / tar.bz2 / tar.xz / tar.zst 等格式內的檔案中繼資料與內容。