MaxCompute:Ikhtisar Java SDK

SQLTask

SQLTask menjalankan pernyataan SQL di MaxCompute. Panggil SQLTask.run() untuk mengirimkan pernyataan tersebut—metode ini mengembalikan objek Instance yang dapat digunakan untuk memeriksa status dan mengambil hasil.

import java.util.List;
import com.aliyun.odps.Instance;
import com.aliyun.odps.Odps;
import com.aliyun.odps.OdpsException;
import com.aliyun.odps.account.Account;
import com.aliyun.odps.account.AliyunAccount;
import com.aliyun.odps.data.Record;
import com.aliyun.odps.task.SQLTask;

public class RunSqlExample {
    private static final String ACCESS_ID  = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
    private static final String ACCESS_KEY = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
    private static final String ENDPOINT   = "http://service.odps.aliyun.com/api";
    private static final String PROJECT    = "<your-project>";

    public static void main(String[] args) {
        Account account = new AliyunAccount(ACCESS_ID, ACCESS_KEY);
        Odps odps = new Odps(account);
        odps.setEndpoint(ENDPOINT);
        odps.setDefaultProject(PROJECT);

        String sql = "select category from iris;";
        try {
            // Kirim pernyataan SQL dan tunggu hingga selesai
            Instance instance = SQLTask.run(odps, sql);
            instance.waitForSuccess();

            // Ambil dan cetak hasil
            List<Record> records = SQLTask.getResult(instance);
            for (Record r : records) {
                System.out.println(r.get(0).toString());
            }
        } catch (OdpsException e) {
            e.printStackTrace();
        }
    }
}

Catatan penggunaan:

• Kirim hanya satu pernyataan SQL per pemanggilan SQLTask.run().

• Untuk membuat tabel secara terprogram, teruskan pernyataan CREATE TABLE ke SQLTask.run(). Kelas Table tidak mendukung pembuatan tabel. Untuk sintaksis CREATE TABLE, lihat Operasi tabel.

Instances dan Instance

Instances adalah koleksi semua instans dalam proyek. Instance merepresentasikan satu instans dan menyediakan informasi status, waktu eksekusi, serta ringkasan tugas.

// Iterasi semua instans
for (Instance i : odps.instances()) {
    // proses setiap instans
}

// Dapatkan instans tertentu dan periksa statusnya
Instance instance = odps.instances().get("instance_id");
Date startTime = instance.getStartTime();
Date endTime   = instance.getEndTime();

Status instanceStatus = instance.getStatus();
String statusStr;
if (instanceStatus == Status.TERMINATED) {
    statusStr = TaskStatus.Status.SUCCESS.toString();
    Map<String, TaskStatus> taskStatus = instance.getTaskStatus();
    for (Entry<String, TaskStatus> entry : taskStatus.entrySet()) {
        if (entry.getValue().getStatus() != TaskStatus.Status.SUCCESS) {
            statusStr = entry.getValue().getStatus().toString();
            break;
        }
    }
} else {
    statusStr = instanceStatus.toString();
}

// Dapatkan ringkasan tugas
TaskSummary summary = instance.getTaskSummary("task_name");
String summaryText  = summary.getSummaryText();

Projects dan Project

Projects adalah koleksi semua proyek MaxCompute yang dapat diakses dengan kredensial Anda. Project menyimpan metadata untuk satu proyek.

// Dapatkan proyek tertentu
Project p = odps.projects().get("project_name");
p.reload();

Tables dan Table

Tables adalah koleksi semua tabel dalam proyek default. Gunakan Table untuk memeriksa skema dan partisi tabel.

// Iterasi semua tabel
for (Table t : odps.tables()) {
    // proses setiap tabel
}

// Dapatkan tabel dan iterasi kolom-kolomnya
Table table = odps.tables().get("table_name");
for (Column c : table.getSchema().getColumns()) {
    String   name = c.getName();
    TypeInfo type = c.getTypeInfo();
}

// Akses partisi tertentu
Table t = odps.tables().get("table_name");
t.reload();
Partition part = t.getPartition(new PartitionSpec("partition_col=partition_col_value"));
part.reload();

Resources dan Resource

Resources adalah koleksi semua resource dalam proyek. Resource mencakup file dan referensi tabel yang digunakan oleh UDF dan pekerjaan MapReduce.

// Iterasi semua resource
for (Resource r : odps.resources()) {
    // proses setiap resource
}

// Dapatkan resource dan periksa tipenya
Resource r = odps.resources().get("resource_name");
r.reload();
if (r.getType() == Resource.Type.TABLE) {
    TableResource tr = new TableResource(r);
    String tableSource = tr.getSourceTable().getProject() + "."
        + tr.getSourceTable().getName();
    if (tr.getSourceTablePartition() != null) {
        tableSource += " partition(" + tr.getSourceTablePartition().toString() + ")";
    }
}

Buat sumber daya file:

String projectName = "my_project";
String source      = "my_local_file.txt";
File file          = new File(source);
InputStream is     = new FileInputStream(file);

FileResource resource = new FileResource();
resource.setName(file.getName());
odps.resources().create(projectName, resource, is);

Buat resource tabel:

TableResource resource = new TableResource(tableName, tablePrj, partitionSpec);
resource.setName("table_resource_name");
odps.resources().update(projectName, resource);

Fungsi-fungsi dan Fungsi

Functions adalah koleksi semua function dalam proyek. Gunakan Function untuk membaca atau membuat UDF yang terdaftar di MaxCompute.

// Iterasi semua function
for (Function f : odps.functions()) {
    // proses setiap function
}

// Dapatkan function dan daftar resource terkaitnya
Function f = odps.functions().get("function_name");
List<Resource> resources = f.getResources();

Buat function:

String classType = "com.aliyun.odps.mapred.open.example.WordCount";
ArrayList<String> resourceList = new ArrayList<>();
for (String r : "resource1:resource2".split(":")) {
    resourceList.add(r);
}

Function func = new Function();
func.setName("function_name");
func.setClassType(classType);
func.setResources(resourceList);
odps.functions().create(projectName, func);