Data Lake Formation:Struktur data

Nama

Tipe

Deskripsi

Contoh

-

objek

Detail tampilan.

id

string

ID tampilan.

1

name

string

Nama tampilan.

view_demo

schema

ViewSchema

Struktur tampilan.

Nama

Tipe

Deskripsi

Contoh

-

objek

Detail tabel.

id

string

UUID tabel.

1

name

string

Nama tabel.

table_test

path

string

Jalur tabel.

oss://clg-paimon-xxx/db-xxx/tbl-xxxx

isExternal

string

Eksternal.

true

schemaId

string

ID skema tabel.

1

schema

Schema

Skema tabel.

owner

string

Pemilik tabel.

ALIYUN$1234567

createdAt

long

Waktu saat tabel dibuat.

1741266704867

createdBy

string

Pengguna yang membuat tabel.

acs:ram:1234567:root

updatedAt

long

Waktu saat tabel terakhir diperbarui.

1741266704867

updatedBy

string

Pembaruan

acs:ram:1045689747920334:root

Nama

Tipe

Deskripsi

Contoh

-

objek

Detail partisi.

spec

map

Pasangan kunci-nilai dari nilai partisi.

{"year":"2025"}

recordCount

long

Jumlah catatan.

1

fileSizeInBytes

long

Ukuran file dalam byte.

1024

fileCount

long

Jumlah file.

1

lastFileCreationTime

long

Waktu saat file terbaru dibuat.

1741762385537

Nama

Tipe

Deskripsi

Contoh

-

objek

Informasi tentang snapshot tabel.

snapshot

Snapshot

Informasi snapshot.

recordCount

long

Jumlah catatan.

table_test

fileSizeInBytes

long

Ukuran file dalam byte.

1024

fileCount

long

Jumlah file.

24

lastFileCreationTime

long

Waktu saat file terbaru dibuat.

1741701564261

Nama

Tipe

Deskripsi

Contoh

-

objek

Pengidentifikasi tabel.

databaseName

string

Nama database.

db_test

tableName

string

Nama tabel.

table_test

Nama

Tipe

Deskripsi

Contoh

-

objek

Skema tabel.

• fields

array

Daftar bidang tabel.

dataField

DataField

Bidang tabel.

• partitionKeys

array

Daftar kunci partisi.

["partition_key1", "partition_key2"]

partitionKey

string

Kunci partisi.

partition_key1

• primaryKeys

array

Daftar kunci utama.

["pk1", "pk2"]

primaryKey

string

Kunci utama.

pk1

options

map

Konfigurasi tabel.

{"manifest.merge-min-count": "10"}

comment

string

Deskripsi tabel.

test_comment

Nama

Tipe

Deskripsi

Contoh

-

objek

Bidang tabel.

id

integer

ID bidang.

1

name

string

Nama bidang.

table_test

type

DataType

Tipe data.

Nama

Tipe

Deskripsi

Contoh

-

objek

Tipe data. Ini dapat berupa salah satu tipe data spesifik berikut.

ArrayType

primitiveType

string

Tipe data primitif. Nilai yang valid meliputi BIGINT, BINARY, BOOLEAN, CHAR, DATE, DECIMAL, DOUBLE, FLOAT, INT, TIMESTAMP, SMALLINT, TINYINT, VARBINARY, VARCHAR, dan VARIANT.

BIGINT

arrayType

ArrayType

Tipe array.

multisetType

MultisetType

Tipe koleksi.

mapType

MapType

Tipe pasangan kunci-nilai.

rowType

RowType

Tipe baris komposit.

Nama

Tipe

Deskripsi

Contoh

-

objek

Informasi tentang evolusi skema. Ini dapat berupa salah satu struktur data berikut.

setOption

SetOption

Memperbarui opsi tabel.

RemoveOption

RemoveOption

Menghapus opsi tabel.

UpdateComment

UpdateComment

Memperbarui deskripsi tabel.

AddColumn

AddColumn

Menambahkan kolom.

RenameColumn

RenameColumn

Mengganti nama kolom.

DropColumn

DropColumn

Menghapus kolom.

UpdateColumnComment

UpdateColumnComment

Memperbarui deskripsi kolom.

UpdateColumnType

UpdateColumnType

Memperbarui tipe kolom.

UpdateColumnPosition

UpdateColumnPosition

Memperbarui posisi kolom.

UpdateColumnNullability

UpdateColumnNullability

Memperbarui nullabilitas kolom.

Nama

Tipe

Deskripsi

Contoh

-

objek

Struktur tampilan.

• fields

array

Daftar bidang tampilan.

dataField

DataField

Bidang tampilan.

query

string

Pernyataan pencarian tampilan.

dialects

map<string, string>

Dialek.

{

"flink": "xxxx",

"spark": "xxxx"

}

comment

string

Komentar.

options

map

Properti.

Nama

Tipe

Dapat bernilai null

Deskripsi

Contoh

-

objek

Informasi snapshot.

version

integer

Ya

Versi file snapshot. Versi saat ini adalah 3.

3

id

long

Tidak

ID snapshot.

6

schemaId

long

Tidak

ID skema tabel.

0

baseManifestList

string

Tidak

Daftar manifes dasar.

manifest-list-0c6fcaa1-b6bc-413d-9634-6471cce4f37e-2

baseManifestListSize

long

Ya

Ukuran daftar manifes dasar.

845

deltaManifestList

string

Tidak

Daftar manifes yang mencatat semua perubahan baru dalam snapshot ini.

manifest-list-0c6fcaa1-b6bc-413d-9634-6471cce4f37e-3

deltaManifestListSize

long

Ya

Ukuran daftar manifes yang mencatat semua perubahan baru dalam snapshot ini.

759

changelogManifestList

string

Ya

Daftar manifes yang mencatat semua changelog yang dihasilkan dalam snapshot ini.

manifest-list-0c6fcaa1-b6bc-413d-9634-6471cce4f37e-4

changelogManifestListSize

long

Ya

Ukuran daftar manifes yang mencatat semua changelog yang dihasilkan dalam snapshot ini.

759

indexManifest

string

Ya

Manifes yang mencatat semua file indeks tabel ini.

index-manifest-7cbdaa47-9578-43ac-ae6e-a7ec0486bba8-0

commitUser

string

Tidak

Umumnya berupa UUID, digunakan untuk melanjutkan penulisan aliran.

446aac61-bd5c-4fa0-8b14-846fa8810651

commitIdentifier

long

Tidak

ID transaksi untuk penulisan aliran.

9223372036854775807

commitKind

string

Tidak

Jenis penulisan aliran. Nilai yang valid meliputi APPEND, COMPACT, OVERWRITE, dan ANALYZE.

COMPACT

timeMillis

long

Tidak

Waktu commit dalam milidetik.

1741701564261

logOffsets

Map<Integer, Long>

Ya

Offset log commit.

{0: 1L, 1: 3L}

totalRecordCount

long

Ya

Jumlah total catatan untuk semua perubahan dalam snapshot ini.

1024

deltaRecordCount

long

Ya

Jumlah catatan untuk semua perubahan baru dalam snapshot ini.

10

changelogRecordCount

long

Ya

Jumlah catatan untuk semua changelog yang dihasilkan dalam snapshot ini.

100

watermark

long

Ya

Watermark.

-9223372036854775808

statistics

string

Ya

Nama file statistik untuk tabel ini.

Nama

Tipe

Deskripsi

Contoh

-

objek

Salah satu struktur data berikut.

snapshotInstant

SnapshotInstant

Konstanta snapshot.

1

tagInstant

TagInstant

Konstanta tag.

test_tag

Nama

Tipe

Deskripsi

Contoh

-

objek

Konstanta informasi snapshot.

snapshotId

long

ID snapshot.

1

Nama

Tipe

Deskripsi

Contoh

-

objek

Konstanta informasi tag.

tagName

string

Nama tag.

1

Nama

Tipe

Deskripsi

Contoh

-

objek

Tipe data array.

type

string

Pola: ^ARRAY.*

ARRAY

element

DataType

Tipe data.

INT

Nama

Tipe

Deskripsi

Contoh

-

objek

Tipe data koleksi.

type

string

Pola: ^MULTISET.*

MULTISET

element

DataType

Tipe data.

BIGINT

Nama

Tipe

Deskripsi

Contoh

-

objek

Tipe data.

type

string

Pola: ^MAP.*

MAP

key

DataType

Tipe data.

STRING

value

DataType

Tipe data.

BOOLEAN

Nama

Tipe

Deskripsi

Contoh

-

objek

Tipe data baris.

type

string

Pola: ^ROW.*

ROW

• fields

array

Array bidang.

field

DataField

Bidang.

Nama

Tipe

Deskripsi

Contoh

-

objek

Menetapkan opsi tabel.

type

string

Konstanta: setOption.

setOption

key

string

Kunci dalam pasangan kunci-nilai opsi tabel.

'manifest.delete-file-drop-stats'

value

string

Nilai dalam pasangan kunci-nilai opsi tabel.

'true'

Nama

Tipe

Deskripsi

Contoh

-

objek

Menghapus opsi tabel.

type

string

Konstanta: removeOption.

removeOption

key

string

Kunci dalam pasangan kunci-nilai opsi tabel.

'manifest.delete-file-drop-stats'

Nama

Tipe

Deskripsi

Contoh

-

objek

Memperbarui deskripsi tabel.

type

string

Konstanta: updateComment.

updateComment

comment

string

Deskripsi tabel.

comment_test

Nama

Tipe

Deskripsi

Contoh

-

objek

Menambahkan kolom.

type

string

Konstanta: addColumn.

addColumn

• fieldNames

array

Nama bidang tabel.

dataType

DataType

Tipe data.

comment

string

Deskripsi.

comment_test

move

Move

Informasi pemindahan.

Nama

Tipe

Deskripsi

Contoh

-

objek

Anda dapat menambahkan kolom.

type

string

Konstanta: renameColumn.

renameColumn

• fieldNames

array

Array nama bidang tabel.

newName

string

Nama bidang baru.

new_col_test

Nama

Tipe

Deskripsi

Contoh

-

objek

Anda dapat menambahkan kolom.

type

string

Konstanta: dropColumn.

dropColumn

• fieldNames

array

Array nama bidang tabel.

Nama

Tipe

Deskripsi

Contoh

-

objek

Anda dapat menambahkan kolom.

type

string

Konstanta: updateColumnComment.

updateColumnComment

• fieldNames

array

Array nama bidang tabel.

newComment

string

Deskripsi bidang baru.

col_comment_test

Nama

Tipe

Deskripsi

Contoh

-

objek

Anda dapat menambahkan kolom.

type

string

Konstanta: updateColumnType.

updateColumnType

• fieldNames

array

Array nama bidang tabel.

newDataType

DataType

Tipe data bidang baru.

keepNullability

boolean

Menunjukkan apakah kolom dapat bernilai null.

true

Nama

Tipe

Deskripsi

Contoh

-

objek

Memperbarui posisi kolom.

type

string

Konstanta: updateColumnPosition.

updateColumnPosition

• fieldNames

array

Array nama bidang tabel.

move

Move

Informasi pemindahan.

Nama

Tipe

Deskripsi

Contoh

-

objek

Memperbarui lokasi tabel.

type

string

Konstanta: updateColumnNullability.

updateColumnNullability

newNullability

boolean

Menunjukkan apakah kolom dapat bernilai null.

true

Nama

Tipe

Deskripsi

Contoh

-

objek

Anda dapat menambahkan kolom.

fieldName

string

Nama bidang.

col_test

referenceFieldName

string

Nama bidang referensi.

other_col_test

type

string

Jenis pemindahan. Nilai yang valid adalah FIRST, AFTER, BEFORE, dan LAST.

FIRST