Data Lake Formation:Akses DLF dari MaxCompute

Pemetaan tipe data

Untuk informasi lebih lanjut tentang tipe data MaxCompute, lihat Tipe Data (Versi 1.0) dan Tipe Data (Versi 2.0).

Langkah 1: Berikan izin

Langkah 2: Buat sumber data eksternal Paimon_DLF

1. Login ke Konsol MaxCompute, lalu pilih wilayah di pojok kiri atas.

2. Di panel navigasi kiri, pilih Manage Configurations > External Data Source.

3. Di halaman External Data Source, klik Create External Data Source.

4. Di kotak dialog Create External Data Source, konfigurasikan parameter. Tabel berikut menjelaskan parameter tersebut.

   Parameter	Wajib	Deskripsi
   External Data Source Type	Wajib	Pilih Paimon_DLF.
   External Data Source Name	Wajib	Tentukan nama kustom yang memenuhi persyaratan berikut: Harus dimulai dengan huruf dan hanya boleh berisi huruf kecil, angka, dan garis bawah (_). Panjang maksimum 128 karakter. Contoh: paimon_dlf.
   Description	Opsional	Masukkan deskripsi sesuai kebutuhan.
   Region	Wajib	Default ke wilayah saat ini.
   Authentication and Authorization	Wajib	Default ke peran RAM Alibaba Cloud.
   Service-linked Role	Wajib	Parameter ini dihasilkan secara otomatis.
   Endpoint	Wajib	Parameter ini dihasilkan secara otomatis. Untuk wilayah China (Hangzhou), endpoint-nya adalah cn-hangzhou-intranet.dlf.aliyuncs.com.
   Foreign Server Supplemental Properties	Opsional	Properti tambahan untuk sumber data eksternal. Setelah Anda menentukan properti ini, tugas yang menggunakan sumber data eksternal ini dapat mengakses sistem sumber sebagaimana didefinisikan oleh properti tersebut. Catatan Daftar parameter yang didukung diperbarui seiring perkembangan kemampuan produk. Untuk informasi terbaru, rujuk dokumentasi resmi.

5. Klik OK untuk membuat sumber data eksternal.

6. Di halaman External Data Source, temukan sumber data tersebut dan klik Details di kolom Actions untuk melihat detailnya.

Langkah 3: Buat proyek eksternal

1. Login ke Konsol MaxCompute, lalu pilih wilayah di pojok kiri atas.

2. Di panel navigasi kiri, pilih Manage Configurations > Projects.

3. Di tab External Project, klik Create Project.

4. Di kotak dialog Create Project, konfigurasikan pengaturan dan klik OK.

   Parameter	Wajib	Deskripsi
   Project Type	Wajib	Default ke proyek eksternal.
   Region	Wajib	Default ke wilayah saat ini dan tidak dapat diubah.
   Project Name (Globally Unique)	Wajib	Nama harus dimulai dengan huruf, terdiri dari 3 hingga 28 karakter, dan hanya boleh berisi huruf, angka, dan garis bawah (_).
   MaxCompute Foreign Server Type	Opsional	Default ke Paimon_DLF.
   MaxCompute Foreign Server	Opsional	Use Existing: Daftar sumber data eksternal yang ada akan muncul. Create Foreign Server: Anda dapat membuat dan menggunakan sumber data eksternal baru.
   MaxCompute Foreign Server Name	Wajib	Jika Anda memilih untuk menggunakan sumber data yang ada, pilih namanya dari daftar drop-down. Jika Anda memilih untuk membuat sumber data eksternal baru, namanya akan digunakan secara otomatis.
   Data Catalog	Wajib	Katalog data DLF.
   Billing Method	Wajib	Pilih Subscription atau Pay-as-you-go.
   Default Quota	Wajib	Pilih kuota yang sudah ada.
   Description	Opsional	Masukkan deskripsi kustom untuk proyek tersebut.

Langkah 4: Akses sumber data menggunakan SQL

1. Login ke proyek eksternal menggunakan tool koneksi.

   Contoh berikut menunjukkan cara menjalankan SQL di node SQL DataWorks dalam ruang kerja.

   1. Login ke Konsol DataWorks, lalu pilih wilayah di pojok kiri atas.

   2. Di panel navigasi kiri, pilih Workspace.

   3. Di halaman Workspaces, klik Create Workspace atau klik nama ruang kerja target yang sudah ada.

   4. Di halaman Workspace Details, klik Computing Resource di panel navigasi kiri.

   5. Di halaman Computing Resource, klik Associate Computing Resources, lalu pilih MaxCompute.

   6. Konfigurasikan Basic Information untuk Associate MaxCompute Computing Resource.

      Untuk parameter proyek MaxCompute, pilih proyek eksternal.

2. Daftar skema dalam proyek eksternal.

   -- Aktifkan sintaks skema pada tingkat sesi.
   SET odps.namespace.schema=true;
   SHOW schemas;
   -- Contoh hasil:
   ID = 20250919****am4qb
   default
   system
   OK

3. Daftar tabel dalam skema di proyek eksternal.

   Jika Anda perlu mengakses tabel dari proyek produksi eksternal di lingkungan saat ini, tambahkan use external_project_pro; sebelum semua pernyataan SQL Anda.

   -- <schema_name> adalah nama skema yang ditampilkan oleh perintah SHOW schemas.
   SET odps.namespace.schema=true;
   USE schema <schema_name>;
   SHOW tables;
   -- Contoh hasil:
   ID = 20250919****am4qb
   acs:ram::<uid>:root  emp
   OK

4. Buat skema dalam proyek eksternal.

   -- Dalam contoh ini, schema_name adalah schema_demo_test.
   CREATE schema <schema_name>;

5. Gunakan skema yang baru dibuat.

   USE schema <schema_name>;

6. Buat tabel dalam skema dan masukkan data.

   Jika Anda login sebagai Pengguna RAM, Anda harus memiliki izin pada katalog DLF untuk operasi ini. Untuk informasi tentang cara memberikan izin, lihat Manajemen otorisasi data.

   • Format perintah:

     -- Buat tabel.
     CREATE TABLE [IF NOT EXISTS] <table_name> 
     (
       <col_name> <data_type>,
       ...
     )
     [COMMENT <table_comment>]
     [PARTITIONED BY (<col_name> <data_type>, ...)] 
     ;
     -- Masukkan data.
     INSERT {INTO|OVERWRITE} TABLE <table_name> [PARTITION (<pt_spec>)] [(<col_name> [,<col_name> ...])]
     <select_statement>
     FROM <from_statement>

   • Contoh:

     Catatan

     Saat Anda menulis data ke tabel sumber Paimon, nilai TIMESTAMP dengan presisi lebih rendah dipotong: presisi 0–3 dipotong menjadi milidetik (3 tempat desimal), 4–6 menjadi mikrodetik (6 tempat desimal), dan 7–9 menjadi nanodetik (9 tempat desimal).

     CREATE TABLE schema_table(id int,name string);
     INSERT INTO schema_table VALUES (101,'Zhang San'),(102,'Li Si');
     -- Kueri tabel schema_table.
     SELECT * FROM schema_table;
     -- Contoh hasil:
     +------------+------------+
     | id         | name       | 
     +------------+------------+
     | 101        | Zhang San  | 
     | 102        | Li Si      | 
     +------------+------------+

7. Beralih ke skema default yang sudah ada.

   use schema default;
   SHOW tables;
   -- Contoh hasil:
   ID = 20250919*******yg5
   acs:ram::<uid>:root	emp
   acs:ram::<uid>:root	emp_detail
   acs:ram::<uid>:root	test_table
   OK
   -- Baca data dari tabel.
   SELECT * FROM test_table;
   -- Contoh hasil:
   +------------+------------+
   | id         | name       | 
   +------------+------------+
   | 101        | Zhang San  | 
   | 102        | Li Si      | 
   +------------+------------+
   -- Tulis data ke tabel dan periksa apakah data berhasil ditulis.
   INSERT INTO test_table VALUES (103,'Wang Wu');
   SELECT * FROM test_table;
   -- Contoh hasil:
   +------------+------------+
   | id         | name       | 
   +------------+------------+
   | 101        | Zhang San  | 
   | 102        | Li Si      | 
   | 103        | Wang Wu    | 
   +------------+------------+

Masalah 1: Kesalahan saat membuat proyek eksternal

Gejala: Saat membuat proyek eksternal baru, muncul kesalahan "You are not authorized to perform this action."

Detail kesalahan mencantumkan kode kesalahan NoMCPermission.

Solusi:

1. Jika Anda adalah Pengguna RAM, verifikasi bahwa izin AliyunMaxComputeFullAccess telah diberikan kepada Pengguna RAM tersebut. Untuk informasi lebih lanjut, lihat prosedur terkait di Langkah 1.

2. Operasi ini memerlukan pemilihan katalog dari Data Lake Formation (DLF). Pastikan izin DLF yang diperlukan telah diberikan. Untuk informasi lebih lanjut, lihat prosedur terkait di Langkah 1.

Masalah 2: Kesalahan show tables di skema default

Gejala: Saat menjalankan show tables di skema default proyek eksternal, muncul kesalahan "Forbidden:User acs: ram: :<uid>:user/** doesn't have privilege LIST on DATABASE default".

Solusi:

1. Login ke Konsol Data Lake Formation (DLF), lalu pilih wilayah di pojok kiri atas.

2. Di panel navigasi kiri, pilih System & Security.

3. Di tab Access Control > Users, refresh untuk memeriksa apakah RAM user saat ini sudah ada.

4. Jika ada, berikan izin kepada RAM user tersebut di Access Control > Role.

Masalah 3: Kesalahan "invalid database operations on two-tier"

Gejala: Saat menjalankan show schemas di proyek eksternal, muncul kesalahan "invalid database operations on two-tier".

Solusi:

1. Verifikasi bahwa proyek saat ini adalah proyek eksternal.

   1. Jika Anda menggunakan node SQL DataWorks, klik Debugging Configuration di panel kanan dan verifikasi bahwa sumber daya komputasi yang terkait adalah proyek eksternal.

   2. Jika Anda menggunakan analisis SQL di DataWorks, klik Data Source di pojok kanan atas dan verifikasi bahwa sumber data yang terkait adalah proyek eksternal.

   3. Jika Anda menggunakan analisis SQL di MaxCompute, klik Execution Configuration di panel kanan dan verifikasi bahwa proyek yang dipilih untuk sumber daya komputasi adalah proyek eksternal.

   4. Jika Anda menggunakan odpscmd, periksa file odps_config.ini dan verifikasi bahwa nilai parameter project_name adalah nama proyek eksternal.

2. Setelah memastikan Anda menggunakan proyek eksternal, pilih dan jalankan pernyataan SQL berikut secara bersamaan.

   -- Aktifkan sintaks skema pada tingkat sesi.
   SET odps.namespace.schema=true;
   SHOW schemas;

Masalah 4: show schemas hanya mengembalikan skema default

Gejala: Saat menjalankan perintah show schemas di proyek eksternal, hanya skema default yang dikembalikan.

Solusi:

1. Verifikasi bahwa proyek saat ini adalah proyek eksternal.

   1. Jika Anda menggunakan node SQL DataWorks, klik Debugging Configuration di panel kanan dan verifikasi bahwa sumber daya komputasi yang terkait adalah proyek eksternal.

   2. Jika Anda menggunakan analisis SQL di DataWorks, klik Data Source di pojok kanan atas dan verifikasi bahwa sumber data yang terkait adalah proyek eksternal.

   3. Jika Anda menggunakan analisis SQL di MaxCompute, klik Execution Configuration di panel kanan dan verifikasi bahwa proyek yang dipilih untuk sumber daya komputasi adalah proyek eksternal.

   4. Jika Anda menggunakan odpscmd, periksa file odps_config.ini dan verifikasi bahwa nilai parameter project_name adalah nama proyek eksternal.

2. Setelah memastikan Anda menggunakan proyek eksternal, login ke Konsol Data Lake Formation (DLF) dan periksa apakah terdapat database lain di katalog yang terikat ke proyek eksternal tersebut.

3. Jika perintah show schemas masih tidak mengembalikan database yang diharapkan setelah melakukan pemeriksaan pada langkah 1 dan 2, kirimkan tiket untuk bantuan.

Masalah 5: Kesalahan "You should use dynamic bucket..."

Gejala: Saat menjalankan show tables di proyek eksternal, muncul kesalahan berikut: ODPS-0110005: com.aliyun.odps.meta.exception.MetaException: com.aliyun.odps.common.table.na.NativeException: common/table/jni/utils/jni_helper.cpp(79): UnretryableException: Common table connector exception - ExceptionType: java.lang.IllegalArgumentException - Message: You should use dynamic bucket (bucket = -1) mode in cross partition update case (Primary key constraint [sending_time, symbol, sequence_number] not include all partition fields [pt]).[pt])

Solusi:

Kesalahan ini terjadi karena MaxCompute saat ini tidak mendukung tabel kunci primer cross-partition dengan bucket tetap. Akibatnya, perintah show tables gagal.

Sebagai solusi sementara, hapus tabel kunci primer cross-partition yang tidak didukung di Konsol Data Lake Formation (DLF).

Masalah 6: Kesalahan "Can't set default schema..."

Gejala: Saat menjalankan perintah show tables atau show schemas, muncul kesalahan "FAILED: Can't set default schema if odps.namespace.schema is false".

Solusi:

1. Jalankan perintah SET odps.namespace.schema=true; sebelum pernyataan SQL lainnya untuk mengaktifkan sintaks skema pada tingkat sesi.

2. Jika kesalahan tetap muncul, verifikasi urutan perintah. Untuk membaca tabel dari proyek eksternal lain, gunakan urutan perintah berikut:

   USE external_project;
   SET odps.namespace.schema=true;
   USE schema schema_name;
   SHOW tables;