MaxCompute:Contoh Open Storage SDK - Java SDK

SplitOptions

• Definisi parameter

  Parameter objek SplitOptions didefinisikan sebagai berikut:

  public class SplitOptions {
  
      public static SplitOptions.Builder newBuilder() {
          return new Builder();
      }
  
      public static class Builder {
  
        public SplitOptions.Builder SplitByByteSize(long splitByteSize);
    
        public SplitOptions.Builder SplitByRowOffset();
    
        public SplitOptions.Builder withCrossPartition(boolean crossPartition);
    
        public SplitOptions.Builder withMaxFileNum(int splitMaxFileNum);
    
        public SplitOptions build();
      }
  }

• Deskripsi parameter

  • SplitByByteSize(long splitByteSize)

    Memisahkan data berdasarkan parameter splitByteSize yang ditentukan. Ukuran setiap partisi data yang dikembalikan oleh server tidak melebihi splitByteSize (dalam byte).

    • Ukuran split kustom harus minimal 10 × 1024 × 1024 (10 MB).

    • Jika SplitByByteSize(long splitByteSize) tidak digunakan untuk menyesuaikan ukuran split, sistem menggunakan nilai default 256 × 1024 × 1024 (256 MB).

  • SplitByRowOffset()

    Memisahkan data berdasarkan baris, memungkinkan klien membaca data dari indeks tertentu.

  • withCrossPartition(boolean crossPartition)

    Menentukan apakah satu shard data boleh mencakup beberapa partisi data. Parameter crossPartition menerima nilai berikut:

    • true (default): mengizinkan satu shard data berisi beberapa partisi data.

    • false: tidak mengizinkannya.

  • withMaxFileNum(int splitMaxFileNum)

    Saat sebuah tabel memiliki banyak file, tentukan jumlah maksimum file fisik dalam satu partisi data untuk menghasilkan lebih banyak partisi data.

    Secara default, tidak ada batasan jumlah file fisik dalam satu partisi data.

  • build(): Membuat objek SplitOptions.

• Contoh

  // 1. Pisahkan data berdasarkan ukuran, atur SplitSize menjadi 256 MB
  
  SplitOptions splitOptionsByteSize = 
        SplitOptions.newBuilder().SplitByByteSize(256 * 1024L * 1024L).build()
  
  // 2. Pisahkan data berdasarkan RowOffset
  
  SplitOptions splitOptionsCount = 
        SplitOptions.newBuilder().SplitByRowOffset().build()
  
  // 3. Atur jumlah maksimum file dalam satu split menjadi 1
  
  SplitOptions splitOptionsCount = 
        SplitOptions.newBuilder().SplitByRowOffset().withMaxFileNum(1).build()

ArrowOptions

• Definisi parameter

  Parameter objek ArrowOptions didefinisikan sebagai berikut:

  public class ArrowOptions {
      
      public static Builder newBuilder() {
          return new Builder();
      }
  
      public static class Builder {
  
          public Builder withTimestampUnit(TimestampUnit unit);
  
          public Builder withDatetimeUnit(TimestampUnit unit);
  
          public ArrowOptions build();
      }
  
      public enum TimestampUnit {
          SECOND,
          MILLI,
          MICRO,
          NANO;
      }
  }

• Deskripsi parameter

  • TimestampUnit

    Menentukan satuan untuk tipe data Timestamp dan Datetime. Nilai yang valid:

    • SECOND: detik (s)

    • MILLI: milidetik (ms)

    • MICRO: mikrodetik (μs)

    • NANO: nanodetik (ns)

  • withTimestampUnit(TimestampUnit unit)

    Menentukan satuan untuk tipe data Timestamp. Default: NANO.

  • withDatetimeUnit(TimestampUnit unit)

    Menentukan satuan untuk tipe data Datetime. Default: MILLI.

• Contoh

  ArrowOptions options = ArrowOptions.newBuilder()
            .withDatetimeUnit(ArrowOptions.TimestampUnit.MILLI)
            .withTimestampUnit(ArrowOptions.TimestampUnit.NANO)
            .build()

Predicate

• Definisi parameter

  Parameter objek SplitOptions didefinisikan sebagai berikut:

  // 1. Operasi biner
  
  public class BinaryPredicate extends Predicate {
  
    public enum Operator {
      /**
       * Operator operasi biner
       */
      EQUALS("="),
      NOT_EQUALS("!="),
      GREATER_THAN(">"),
      LESS_THAN("<"),
      GREATER_THAN_OR_EQUAL(">="),
      LESS_THAN_OR_EQUAL("<=");
     
    }
  
    public BinaryPredicate(Operator operator, Serializable leftOperand, Serializable rightOperand);
  
    public static BinaryPredicate equals(Serializable leftOperand, Serializable rightOperand);
  
    public static BinaryPredicate notEquals(Serializable leftOperand, Serializable rightOperand);
  
    public static BinaryPredicate greaterThan(Serializable leftOperand, Serializable rightOperand);
  
    public static BinaryPredicate lessThan(Serializable leftOperand, Serializable rightOperand);
  
    public static BinaryPredicate greaterThanOrEqual(Serializable leftOperand,
                                                     Serializable rightOperand);
  
    public static BinaryPredicate lessThanOrEqual(Serializable leftOperand,
                                                  Serializable rightOperand);
  }
  
  // 2. Operasi uner
  public class UnaryPredicate extends Predicate {
  
    public enum Operator {
      /**
       * Operator operasi uner
       */
      IS_NULL("is null"),
      NOT_NULL("is not null");
    }
  
    public static UnaryPredicate isNull(Serializable operand);
    public static UnaryPredicate notNull(Serializable operand);
  }
  
  ### 3. IN dan NOT IN
  public class InPredicate extends Predicate {
  
    public enum Operator {
      /**
       * Operator IN dan NOT IN untuk pemeriksaan keanggotaan himpunan
       */
      IN("in"),
      NOT_IN("not in");
    }
  
    public InPredicate(Operator operator, Serializable operand, List<Serializable> set);
  
    public static InPredicate in(Serializable operand, List<Serializable> set);
  
    public static InPredicate notIn(Serializable operand, List<Serializable> set);
  }
  
  // 4. Nama kolom
  public class Attribute extends Predicate {
  
    public Attribute(Object value);
      
    public static Attribute of(Object value);
  }
  
  // 5. Konstanta
  public class Constant extends Predicate {
  
    public Constant(Object value);
  
    public static Constant of(Object value);
  }
  
  // 6. Operasi majemuk
  public class CompoundPredicate extends Predicate {
  
    public enum Operator {
      /**
       * Operator predikat majemuk
       */
      AND("and"),
      OR("or"),
      NOT("not");
    }
  
    public CompoundPredicate(Operator logicalOperator, List<Predicate> predicates);
  
    public static CompoundPredicate and(Predicate... predicates);
    
    public static CompoundPredicate or(Predicate... predicates);
  
    public static CompoundPredicate not(Predicate predicates);
  
    public void addPredicate(Predicate predicate);
  }
  
  // 7. Predikat mentah (RawPredicate)
  // Jika metode yang ada tidak memenuhi persyaratan, susun predikat berdasarkan sintaksis SQL
    public class RawPredicate extends Predicate {
        public RawPredicate(String rawExpr);
        public static RawPredicate of(String rawExpr);
    }

• Contoh

  // 1. c1 > 20000 dan c2 < 100000
  BinaryPredicate c1 = new BinaryPredicate(BinaryPredicate.Operator.GREATER_THAN, Attribute.of("c1"), Constant.of(20000));
  BinaryPredicate c2 = new BinaryPredicate(BinaryPredicate.Operator.LESS_THAN, Attribute.of("c2"), Constant.of(100000));
  CompoundPredicate predicate =
          new CompoundPredicate(CompoundPredicate.Operator.AND, ImmutableList.of(c1, c2));
  
  // 2. c1 is not null
  Predicate predicate = new UnaryPredicate(UnaryPredicate.Operator.NOT_NULL,  Attribute.of("c1"));
  
    
  // 3. c1 in (1, 10001)
  Predicate predicate =
          new InPredicate(InPredicate.Operator.IN,  Attribute.of("c1"), ImmutableList.of(Constant.of(1), Constant.of(10001)));
  
  // 4. Gunakan RawPredicate untuk menyusun predikat (mendukung semua tipe)
    Predicate predicate = RawPredicate.of("c1 > 20000 and c2 < 100000");

EnvironmentSettings

• Definisi parameter

  Antarmuka EnvironmentSettings didefinisikan sebagai berikut:

  public class EnvironmentSettings {
  
      public static Builder newBuilder() {
          return new Builder();
      }
  
      public static class Builder {
  
          public Builder withDefaultProject(String projectName);
  
          public Builder withDefaultSchema(String schema);
  
          public Builder withServiceEndpoint(String endPoint);
  
          public Builder withTunnelEndpoint(String tunnelEndPoint);
  
          public Builder withQuotaName(String quotaName);
  
          public Builder withCredentials(Credentials credentials);
  
          public Builder withRestOptions(RestOptions restOptions);
  
          public EnvironmentSettings build();
      }
  }

• Deskripsi parameter

  • withDefaultProject(String projectName)

    Menetapkan nama proyek.projectName Parameter projectName adalah nama proyek MaxCompute. Masuk ke Konsol MaxCompute, alihkan wilayah di pojok kiri atas, lalu pilih Manage Configurations > Projects untuk melihat nama proyek MaxCompute.

  • withDefaultSchema(String schema)

    Menetapkan skema default.schema Parameter schema adalah nama skema MaxCompute. Untuk informasi selengkapnya tentang skema, lihat Operasi skema.

  • withServiceEndpoint(String endPoint)

    Menetapkan titik akhir layanan.Titik akhir.

  • withTunnelEndpoint(String tunnelEndPoint)

    Menetapkan titik akhir saluran data.Titik akhir.

  • withQuotaName(String quotaName)

    Menentukan nama kuota yang akan digunakan.

    MaxCompute mendukung dua jenis sumber daya: kelompok sumber daya Data Transmission Service eksklusif (langganan) Dapatkan nama kuota sebagai berikut:

    • Kelompok sumber daya Data Transmission Service eksklusif

      Masuk ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.

      Di panel navigasi sebelah kiri, pilih Manage Configurations > Quotas .

      Lihat kuota yang tersedia. Untuk informasi selengkapnya, lihat Sumber daya komputasi - Manajemen kuota.

    • Masuk ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.

      Di panel navigasi sebelah kiri, pilih Manage Configurations > Tenants .

      Di tab Tenant Property, aktifkan sakelar Storage API Switch.

  • withCredentials(Credentials credentials)

    Menentukan informasi otentikasi. Untuk informasi selengkapnya, lihat Credentials.

Credentials

• Definisi objek

  public class Credentials {
  
      public static Builder newBuilder() {
          return new Builder();
      }
  
      public static class Builder {
  
          public Builder withAccount(Account account);
  
          public Builder withAppAccount(AppAccount appAccount);
  
          public Builder withAppStsAccount(AppStsAccount appStsAccount);
  
          public Credentials build();
      }
  
  }

• Deskripsi parameter

  • withAccount(Account account)

    Menentukan objek Account Odps.

  • withAppAccount(AppAccount appAccount)

    Menentukan objek appAccount Odps.

  • withAppStsAccount(AppStsAccount appStsAccount)

    Menentukan objek appStsAccount Odps.

  • withRestOptions(RestOptions restOptions)

    Menentukan konfigurasi akses jaringan. RestOptions didefinisikan sebagai berikut:

    public class RestOptions implements Serializable {
    
        public static Builder newBuilder() {
            return new RestOptions.Builder();
        }
    
        public static class Builder {
            public Builder witUserAgent(String userAgent);
            public Builder withConnectTimeout(int connectTimeout);
            public Builder withReadTimeout(int readTimeout);
            public RestOptions build();
        }
    }

    • witUserAgent(String userAgent): Menentukan informasi userAgent.

    • withConnectTimeout(int connectTimeout): Menentukan waktu tunggu koneksi untuk membangun koneksi jaringan dasar. Default: 10 detik.

    • withReadTimeout(int readTimeout): Menentukan waktu tunggu baca untuk koneksi jaringan dasar. Default: 120 detik.

• DataSchema didefinisikan sebagai berikut:

  public class DataSchema implements Serializable {
      
      List<Column> getColumns();
  
      List<String> getPartitionKeys();
  
      List<String> getColumnNames();
  
      List<TypeInfo> getColumnDataTypes();
  
      Optional<Column> getColumn(int columnIndex);
  
      Optional<Column> getColumn(String columnName);
  
  }

• Deskripsi parameter

  • getColumns(): Mendapatkan informasi kolom untuk tabel dan partisi yang akan dibaca.

  • getPartitionKeys(): Mendapatkan nama kolom partisi yang akan dibaca.

  • getColumnNames(): Mendapatkan nama kolom untuk tabel dan partisi yang akan dibaca.

  • getColumnDataTypes(): Mendapatkan tipe data kolom untuk tabel dan partisi yang akan dibaca.

  • getColumn(int columnIndex): Mendapatkan objek kolom berdasarkan indeks. Mengembalikan null jika indeks di luar jangkauan.

  • getColumn(String columnName): Mendapatkan objek kolom berdasarkan nama. Jika nama kolom columnName tidak ada dalam tabel, mengembalikan null.columnName

• InputSplitAssigner didefinisikan sebagai berikut:

  public interface InputSplitAssigner {
  
      int getSplitsCount();
  
      long getTotalRowCount();
  
      InputSplit getSplit(int index);
  
      InputSplit getSplitByRowOffset(long startIndex, long numRecord);
  }

• Deskripsi parameter

  • getSplitsCount(): Mendapatkan jumlah partisi data dalam sesi.

    Catatan

    Saat SplitOptions adalah SplitByByteSize, metode ini mengembalikan nilai lebih besar dari atau sama dengan 0.

  • getTotalRowCount(): Mendapatkan jumlah total baris data dalam sesi.

    Catatan

    Saat SplitOptions adalah SplitByByteSize, metode ini mengembalikan nilai lebih besar dari atau sama dengan 0.

  • getSplit(int index): Mendapatkan InputSplit untuk partisi Index yang ditentukan. Parameter index berkisar dari [0,SplitsCount-1].

  • getSplitByRowOffset(long startIndex, long numRecord): Mendapatkan InputSplit yang sesuai. Parameter adalah sebagai berikut:

  • startIndex: Indeks baris awal untuk pembacaan data InputSplit. Rentang: [0,RecordCount-1].

  • numRecord: Jumlah baris data yang akan dibaca oleh InputSplit.

• Contoh

  // 1. Jika SplitOptions adalah SplitByByteSize
  
  TableBatchReadSession scan = ...;
  InputSplitAssigner assigner = scan.getInputSplitAssigner();
  int splitCount = assigner.getSplitsCount();
  for (int k = 0; k < splitCount; k++) {
      InputSplit split = assigner.getSplit(k);
      ...
  }
  
  // 2. Jika SplitOptions adalah SplitByRowOffset
  TableBatchReadSession scan = ...;
  InputSplitAssigner assigner = scan.getInputSplitAssigner();
  long rowCount = assigner.getTotalRowCount();
  long recordsPerSplit = 10000;
  for (long offset = 0; offset < numRecords; offset += recordsPerSplit) {
      recordsPerSplit = Math.min(recordsPerSplit, numRecords - offset);
      InputSplit split = assigner.getSplitByRowOffset(offset, recordsPerSplit);
      ...
  }

• ReaderOptions didefinisikan sebagai berikut:

  public class ReaderOptions {
      
      public static ReaderOptions.Builder newBuilder() {
          return new Builder();
      }
  
      public static class Builder {
  
          public Builder withMaxBatchRowCount(int maxBatchRowCount);
  
          public Builder withMaxBatchRawSize(long batchRawSize);
  
          public Builder withCompressionCodec(CompressionCodec codec);
  
          public Builder withBufferAllocator(BufferAllocator allocator);
  
          public Builder withReuseBatch(boolean reuseBatch);
  
          public Builder withSettings(EnvironmentSettings settings);
  
          public ReaderOptions build();
      }
  
  }

• Deskripsi parameter

  • withMaxBatchRowCount(int maxBatchRowCount)

    Menentukan jumlah maksimum baris per batch yang dikembalikan oleh server. Parameter maxBatchRowCount defaultnya maksimal 4096.

  • withMaxBatchRawSize(long batchRawSize)

    Menentukan ukuran byte mentah maksimum per batch yang dikembalikan oleh server.

  • withCompressionCodec(CompressionCodec codec)

    Menentukan tipe kompresi data. Hanya ZSTD dan LZ4_FRAME yang didukung.

    Catatan

    • Transfer data Arrow dalam jumlah besar tanpa kompresi secara langsung dapat meningkatkan waktu transfer secara signifikan karena batasan lebar pita jaringan.

    • Jika tipe kompresi tidak ditentukan, data tidak dikompresi secara default.

  • withBufferAllocator(BufferAllocator allocator)

    Menentukan alokator memori untuk membaca data Arrow.

  • withReuseBatch(boolean reuseBatch)

    Menentukan apakah memori ArrowBatch dapat digunakan kembali.reuseBatch Nilai:

    • true (default): Memori ArrowBatch dapat digunakan kembali.

    • false: Memori ArrowBatch tidak dapat digunakan kembali.

  • withSettings(EnvironmentSettings settings)

    Menentukan informasi lingkungan runtime.