Data Lake Formation:API kullanım kılavuzu

Erişim uç noktası seçme

DLF metadata API iki farklı uç nokta üzerinden kullanılabilir. İstemcinizin çalıştığı konuma göre bir uç nokta seçin:

• DLF VPC uç noktası (Önerilen) — DLF izin listesine eklenmiş bir VPC içinden düşük gecikme süresiyle erişim sağlar. Bu konudaki örneklerde DLF VPC uç noktası kullanılır.

• Alibaba Cloud OpenAPI uç noktası — Genel ağ erişimi sağlar; bölge dışından erişim ve yerel hata ayıklama gibi senaryolara hizmet eder. OpenAPI uç noktası için imza desteği, Paimon istemcisinin 1,4 veya sonraki bir sürümünü gerektirir. Bu sürüm, bu konuda Maven bağımlılığında kullanılan SDK sürümünden daha yenidir.

Ön koşullar

Bir VPC'yi izin listesine eklemeden, bir role izinler atamadan, Maven bağımlılığını eklemeden ve DLF metadata API'sini çağırmadan önce aşağıdaki gereksinimlerin karşılandığından emin olun:

• Ağ erişimi — Varsayılan olarak DLF metadata API'ye yalnızca izin listesindeki VPC'lerden erişilebilir. DLF VPC uç noktası üzerinden DLF'ye erişirken istemcinizin izin listesindeki bir VPC içinde çalışması gerekir.

• Çalışma zamanı ortamı ve rol — Elastic Compute Service (ECS) rolü kimlik doğrulaması kullanırken istemciniz, bir ECS rolüne bağlı bir ECS örneği veya E-MapReduce (EMR) küme düğümü üzerinde çalışır.

• DLF katalogu — Bir DLF katalogu mevcuttur ve ECS rolüne bu katalog üzerinde izinler verilmiştir.

• Yetkilendirme kimlik bilgileri — ECS rolüne RAM izinleri atamak için gerekli olan bir Alibaba Cloud hesabınız veya Resource Access Management (RAM) yönetici kimlik bilgileriniz vardır.

• İstemci sürümü — Paimon istemcisi, önceki bölümde açıklanan şekilde kullandığınız uç noktanın sürüm gereksinimini karşılar.

VPC izin listesi yapılandırma

DLF'yi etkinleştirdiğinizde sistem, mevcut bölgenizdeki VPC kimliklerini kullanıcı düzeyindeki izin listesine otomatik olarak eşitler. Daha sonra bir VPC eklemek için DLF konsolunda ilgili VPC kimliğini girin:

1. Data Lake Formation (DLF) konsolu adresinde oturum açın.

2. Sol gezinme bölmesinde System & Security öğesine tıklayın.

3. System & Security sekmesine tıklayın ve ardından Add VPC seçeneğine tıklayın.

4. Görüntülenen iletişim kutusunda DLF metadata API'ye eriştiğiniz VPC'nin kimliğini girin ve OK seçeneğine tıklayın.

Bir role DLF izinleri verme

ECS rolüne iki ayrı izin kümesi verin: RAM konsolundaki RAM izinleri ve DLF konsolundaki katalog izinleri. Örneğin, bir EMR kümesi için rol AliyunECSInstanceForEMRRole şeklindedir.

1. ECS rolüne RAM izinleri verin.

   1. Alibaba Cloud hesabınızla veya bir RAM yöneticisi olarak Resource Access Management (RAM) konsolu adresinde oturum açın.

   2. Identities > Roles yolunu izleyin ve ECS rolünü arayın.

   3. Actions sütununda Add Permissions seçeneğine tıklayın.

   4. Policies alanında AliyunDLFFullAccess ilkesini arayıp seçin ve ardından OK seçeneğine tıklayın.

2. ECS rolüne DLF izinleri verin.

   1. Data Lake Formation (DLF) konsolu adresinde oturum açın.

   2. Catalogs sayfasında hedef kataloğun adına tıklayın.

   3. Permissions sekmesine tıklayın ve ardından Grant Permissions seçeneğine tıklayın.

   4. Yetkilendirme sayfasında aşağıdaki parametreleri yapılandırın ve OK seçeneğine tıklayın.

      • Principal: Bir RAM kullanıcısı veya RAM rolü seçin.

      • Select DLF User: Açılan listeden ECS Role seçeneğini belirleyin.

        Not

        Kullanıcı açılan listesinde ECS Role görünmüyorsa System & Security > Access Control > Users yolunu izleyin ve ardından Sync Users seçeneğine tıklayın.

      • Predefined Permission Type: Data Editor seçeneğini belirleyin.

REST API istemcisi oluşturma

Java uygulamanızdan DLF metadata API'sini çağırmak için bir REST API istemcisi oluşturun.

<dependency>
  <groupId>org.apache.paimon</groupId>
  <artifactId>paimon-api</artifactId>
  <version>1.3.0</version>
</dependency>

import org.apache.paimon.options.Options;
import org.apache.paimon.rest.RESTApi;
import static org.apache.paimon.options.CatalogOptions.WAREHOUSE;
import static org.apache.paimon.rest.RESTCatalogOptions.DLF_TOKEN_LOADER;
import static org.apache.paimon.rest.RESTCatalogOptions.TOKEN_PROVIDER;
import static org.apache.paimon.rest.RESTCatalogOptions.URI;
public class RESTApiExample {
    public static void main(String[] args) {
        Options options = new Options();
        options.set(URI, "http://cn-hangzhou-vpc.dlf.aliyuncs.com");
        options.set(WAREHOUSE, "dlf_test");
        options.set(TOKEN_PROVIDER, "dlf");
        options.set(DLF_TOKEN_LOADER, "ecs");
        RESTApi api = new RESTApi(options);
        System.out.println(api.listTables("my_database"));
    }
}