全部产品
Search

搜索本产品

    Object Storage Service：Kueri dan analisis data OSS menggunakan MaxCompute

    文档中心

    Object Storage Service：Kueri dan analisis data OSS menggunakan MaxCompute

    更新时间：Jul 06, 2025

    Beberapa aplikasi mungkin mengunggah sejumlah besar data ke Object Storage Service (OSS) setiap hari, dan Anda mungkin ingin melakukan analisis terstruktur pada objek teks besar. Dalam hal ini, Anda dapat menggunakan fitur kueri tabel eksternal untuk memuat data yang disimpan di OSS ke MaxCompute guna dianalisis. MaxCompute dapat menganalisis sejumlah besar data OSS dalam beberapa menit, memungkinkan Anda menjelajahi nilai data secara efisien dengan biaya rendah.

    Prasyarat

    • Bucket telah dibuat. Untuk informasi lebih lanjut, lihat Buat Bucket.

    Prosedur

    1. Unggah data yang dikumpulkan oleh IoT ke OSS.

      1. Siapkan data.

        Buat file vehicle.csv di komputer lokal Anda. File tersebut berisi data sampel berikut:

        1,1,51,1,46.81006,-92.08174,9/14/2014 0:00,S
1,2,13,1,46.81006,-92.08174,9/14/2014 0:00,NE
1,3,48,1,46.81006,-92.08174,9/14/2014 0:00,NE
1,4,30,1,46.81006,-92.08174,9/14/2014 0:00,W
1,5,47,1,46.81006,-92.08174,9/14/2014 0:00,S
1,6,9,1,46.81006,-92.08174,9/14/2014 0:00,S
1,7,53,1,46.81006,-92.08174,9/14/2014 0:00,N
1,8,63,1,46.81006,-92.08174,9/14/2014 0:00,SW
1,9,4,1,46.81006,-92.08174,9/14/2014 0:00,NE
1,10,31,1,46.81006,-92.08174,9/14/2014 0:00,N

      2. Unggah file vehicle.csv ke direktori demo/ bucket examplebucket di wilayah China (Hangzhou). Untuk informasi lebih lanjut, lihat Unggah Objek.

    2. Jalankan klien MaxCompute.

      Untuk informasi lebih lanjut, lihat Jalankan Klien MaxCompute.

    3. Buat tabel eksternal menggunakan MaxCompute. Untuk informasi lebih lanjut, lihat Buat Tabel.

      Buat tabel non-partisi bernama data_csv_external. Contoh:

      CREATE EXTERNAL TABLE IF NOT EXISTS data_csv_external
(
    vehicleId int,
    recordId int,
    patientId int,
    calls int,
    locationLatitute double,
    locationLongtitue double,
    recordTime string,
    direction string
    )
    STORED BY 'com.aliyun.odps.CsvStorageHandler'    
    LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/examplebucket/demo/';

    4. Kueri tabel eksternal menggunakan MaxCompute.

      Jalankan pernyataan SQL berikut:

      select recordId, patientId, direction from data_csv_external where patientId > 25;

      Output berikut dikembalikan:

      +------------+------------+-----------+
| recordId   | patientId  | direction |
+------------+------------+-----------+
| 1          | 51         | S         |
| 3          | 48         | NE        |
| 4          | 30         | W         |
| 5          | 47         | S         |
| 7          | 53         | N         |
| 8          | 63         | SW        |
| 10         | 31         | N         |
+------------+------------+-----------+

    FAQ

    Apa yang harus saya lakukan jika pesan kesalahan Mengakses proyek '<projectname>' gagal: ODPS-0420095: Akses Ditolak - Otorisasi Gagal [4002], Anda tidak ada di proyek <projectname>. dilaporkan?

    Referensi

    • MaxCompute memungkinkan Anda membuat tabel eksternal OSS di proyek untuk membuat pemetaan antara tabel eksternal OSS dan direktori di OSS. Anda dapat menggunakan tabel eksternal OSS untuk mengakses data tidak terstruktur di direktori OSS atau untuk menulis data dari proyek MaxCompute ke OSS. Untuk informasi lebih lanjut, lihat Buat Tabel Eksternal OSS.

    • Anda dapat mengekspor data dari tabel MaxCompute ke komputer lokal Anda untuk dilihat secara offline. Untuk informasi lebih lanjut, lihat Eksekusi Pernyataan SQL dan Ekspor Data Hasil.

    • Jika Anda tidak lagi memerlukan tabel atau proyek MaxCompute, Anda dapat menghapus tabel atau proyek MaxCompute untuk menghindari pemborosan sumber daya dan biaya yang tidak perlu. Untuk informasi lebih lanjut, lihat Hapus Tabel atau Proyek MaxCompute.