MaxCompute:Proyek eksternal FileSystem Catalog

Langkah 1: Berikan izin kepada pengguna RAM

Jika Anda adalah pengguna Resource Access Management (RAM), tambahkan kebijakan akses berikut. Untuk informasi lebih lanjut tentang cara menambahkan izin, lihat Manage RAM user permissions.

• AliyunMaxComputeFullAccess: Memberikan izin untuk membuat sumber data eksternal dan proyek eksternal.

Langkah 2: Buat sumber data eksternal Filesystem Catalog

1. Aktifkan OSS dan buat bucket untuk menyimpan data Paimon. Untuk informasi lebih lanjut, lihat Quick Start.

2. Login ke MaxCompute console, lalu pilih wilayah di pojok kiri atas.

3. Pada panel navigasi di sebelah kiri, pilih Manage Configurations > External Data Source.

4. Pada halaman External Data Source, klik Create External Data Source.

5. Pada dialog Create External Data Source, konfigurasikan parameter berikut. Tabel berikut menjelaskan parameter tersebut.

   Parameter	Wajib	Deskripsi
   External Data Source Type	wajib	Pilih Filesystem Catalog.
   External Data Source Name	Wajib	Nama kustom. Konvensi penamaan sebagai berikut: Harus dimulai dengan huruf dan hanya boleh berisi huruf kecil, garis bawah (_), dan angka. Tidak boleh melebihi 128 karakter. Contoh: external_fs.
   Description	Opsional	Masukkan informasi sesuai kebutuhan.
   Region	Wajib	Wilayah saat ini digunakan secara default.
   Authentication And Authorization	Wajib	Peran RAM Alibaba Cloud digunakan secara default.
   RoleARN	Wajib	Nama Sumber Daya Alibaba Cloud (ARN) dari peran RAM. Peran ini harus memiliki izin untuk mengakses layanan OSS. Login ke Resource Access Management (RAM) console. Pada panel navigasi di sebelah kiri, pilih Identities > Roles. Pada bagian Basic Information, Anda dapat menemukan ARN. Contoh: acs:ram::124****:role/aliyunodpsdefaultrole.
   Storage Type	Wajib	OSS OSS-HDFS
   Endpoint	Wajib	Dibuat secara otomatis. Untuk wilayah China (Hangzhou), Endpoint-nya adalah oss-cn-hangzhou-internal.aliyuncs.com.
   Foreign Server Supplemental Properties	Opsional	Menentukan properti tambahan untuk sumber data eksternal. Setelah properti ini ditentukan, tugas yang menggunakan sumber data ini dapat mengakses sistem sumber berdasarkan perilaku yang telah ditentukan. Catatan Untuk informasi tentang parameter yang didukung, lihat dokumentasi resmi. Parameter spesifik akan ditambahkan secara bertahap seiring perkembangan produk.

6. Klik Confirm untuk membuat sumber data eksternal.

7. Pada halaman External Data Source, temukan sumber data target lalu klik Details pada kolom Actions.

Langkah 3: Buat proyek eksternal

1. Login ke MaxCompute console, lalu pilih wilayah di pojok kiri atas.

2. Pada panel navigasi di sebelah kiri, pilih Manage Configurations > Projects.

3. Pada tab External Project, klik Create Project.

4. Pada dialog Create Project, konfigurasikan informasi proyek sesuai petunjuk lalu klik OK.

   Parameter	Wajib	Deskripsi
   Project Type	Wajib	Proyek eksternal digunakan secara default.
   Region	Wajib	Wilayah saat ini digunakan secara default dan tidak dapat diubah.
   Project Name (Globally Unique)	Wajib	Harus dimulai dengan huruf dan hanya boleh berisi huruf, angka, dan garis bawah (_). Panjangnya harus antara 3 hingga 28 karakter.
   MaxCompute Foreign Server Type	Opsional	Pilih Filesystem Catalog.
   MaxCompute Foreign Server	Opsional	Use Existing: Menampilkan daftar sumber data eksternal yang telah dibuat. Create Foreign Server: Membuat dan menggunakan sumber data eksternal baru.
   MaxCompute Foreign Server Name	Wajib	Select existing: Pilih sumber data eksternal yang telah dibuat dari daftar drop-down. Create external data source: Nama sumber data eksternal baru akan digunakan.
   Bucket Catalog	Wajib	Pilih path lengkap dari bucket OSS ke direktori sistem file pada tingkat katalog. Dalam contoh ini, path-nya adalah oss://paimon-fs/paimon-test/.
   Table Format	(Wajib)	Paimon digunakan secara default.
   Billing Method	Wajib	Subscription atau Pay-as-you-go.
   Default Quota	Wajib	Pilih kuota yang sudah ada.
   Description	Opsional	Deskripsi kustom untuk proyek.

Langkah 4: Gunakan SQL untuk mengakses sistem sumber data

1. Pilih tool koneksi untuk login ke proyek eksternal.

2. Tampilkan daftar schema di proyek eksternal. Secara default, hanya path DB yang menyimpan tabel Paimon yang ditampilkan.

   -- Aktifkan sintaks schema pada tingkat session.
   SET odps.namespace.schema=true;
   SHOW schemas;
   
   -- Hasil berikut dikembalikan.
   ID = 20250922********wbh2u7
   default
   
   
   OK

3. Tampilkan daftar tabel dalam suatu schema di proyek eksternal.

   -- <schema_name> adalah nama schema yang ditampilkan di proyek eksternal.
   USE SCHEMA <schema_name>; 
   SHOW tables;

4. Buat schema di proyek eksternal.

   CREATE schema <schema_name>;
   
   -- Contoh:
   CREATE schema schema_test;

5. Gunakan schema baru.

   use schema <schema_name>;
   
   -- Contoh:
   use schema schema_test;

6. Buat tabel di schema dan masukkan data.

   • Sintaks:

     -- Buat tabel.
     CREATE TABLE [IF NOT EXISTS] <table_name> 
     (
       <col_name> <data_type>,
       ...
     )
     [COMMENT <table_comment>]
     [PARTITIONED BY (<col_name> <data_type>, ...)] 
     ;
     
     -- Masukkan data.
     INSERT {INTO|OVERWRITE} TABLE <table_name> [PARTITION (<pt_spec>)] [(<col_name> [,<col_name> ...)]]
     <select_statement>
     FROM <from_statement>

   • Contoh:

     CREATE TABLE new_table(id INT,name STRING);
     
     INSERT INTO new_table VALUES (101,'Zhang San'),(102,'Li Si');
     
     -- Kueri tabel new_table.
     SELECT * FROM new_table;
     
     -- Hasil berikut dikembalikan.
     +------------+------------+
     | id         | name       | 
     +------------+------------+
     | 101        | Zhang San  | 
     | 102        | Li Si      | 
     +------------+------------+