MaxCompute：Apa itu MaxCompute?

Fitur

Deskripsi

Layanan gudang data online sepenuhnya dikelola dalam arsitektur serverless

• Mendukung akses melalui API. Layanan online ini siap pakai.

• Menyediakan sumber daya kluster dalam jumlah besar. Anda dapat membeli sumber daya sesuai kebutuhan dengan metode penagihan bayar sesuai pemakaian.

• Tidak memerlukan operasi dan pemeliharaan (O&M) platform, meminimalkan investasi O&M.

Elastisitas dan skalabilitas tinggi

• Memperluas kemampuan penyimpanan dan komputasi secara terpisah. MaxCompute memungkinkan perusahaan menganalisis semua aset data pada platform yang sama, menghilangkan silo data.

• Mengalokasikan sumber daya secara real-time berdasarkan puncak dan lembah bisnis Anda.

Kemampuan komputasi dan penyimpanan terpusat yang kaya

• Mendukung berbagai model komputasi dan fungsi yang ditentukan pengguna (UDF).

• Mendukung kompresi kolom, yang mengurangi ukuran data menjadi 20% dari ukuran aslinya dalam sebagian besar kasus, sehingga mengurangi biaya penyimpanan secara signifikan.

Kemampuan pemodelan, pengembangan, dan tata kelola data

Mengimplementasikan agregasi data global, integrasi, pemrosesan, dan tata kelola berdasarkan platform pengembangan dan tata kelola data ujung ke ujung DataWorks. DataWorks dapat digunakan untuk mengelola proyek MaxCompute dan mengedit kode kueri di sisi web.

Kemampuan AI terintegrasi

• Terintegrasi mulus dengan Platform for AI untuk memberikan kemampuan pembelajaran mesin yang kuat.

• Memungkinkan Anda menggunakan Spark ML untuk analisis BI.

• Menggunakan pustaka Python pihak ketiga untuk pembelajaran mesin.

Integrasi mendalam dengan mesin Spark

• Menyediakan mesin Apache Spark bawaan, yang mendukung semua fitur Spark.

• Mengintegrasikan secara mendalam sumber daya komputasi, data, dan sistem izin MaxCompute ke dalam mesin Spark.

Lakehouse

• Terintegrasi dengan danau data seperti Object Storage Service (OSS) dan Hadoop Distributed File System (HDFS). MaxCompute memungkinkan Anda menganalisis data di danau data menggunakan tabel eksternal. Anda juga dapat menggunakan Spark untuk mengakses langsung danau data dan menganalisis data tersebut.

• Mendukung analisis asosiasi antara danau data dan gudang data berdasarkan satu set layanan gudang data dan antarmuka pengguna.

Untuk informasi lebih lanjut, lihat Lakehouse of MaxCompute.

Integrasi pemrosesan data offline dan real-time

• MaxCompute terintegrasi mendalam dengan Hologres untuk mendukung kueri data menggunakan tabel eksternal di Hologres dan pembacaan data langsung di lapisan penyimpanan. Efisiensi kueri menggunakan tabel eksternal di Hologres lebih dari lima kali lebih baik daripada menggunakan tabel eksternal jenis lain.

• Hologres mendukung percepatan kueri untuk MaxCompute tanpa perlu migrasi data. Efisiensi kueri meningkat lebih dari sepuluh kali lipat.

• Hologres memungkinkan Anda mengimpor metadata MaxCompute secara batch tanpa perlu membuat tabel eksternal secara manual.

Penulisan streaming dan analitik hampir real-time

• Memungkinkan Anda menulis data streaming secara real-time dan menganalisis data tersebut di gudang data.

• Terintegrasi mendalam dengan layanan streaming utama di cloud untuk membaca data streaming dari berbagai sumber.

• Mendukung kueri paralel elastis dalam skala detik untuk memenuhi persyaratan analisis hampir real-time.

Perlindungan data berbasis SaaS secara berkelanjutan di cloud

Memberikan lebih dari 20 fitur keamanan di tiga tingkat, seperti infrastruktur, pusat data, jaringan, pasokan daya, kemampuan keamanan platform, manajemen izin pengguna, dan perlindungan privasi. MaxCompute juga menyediakan kemampuan keamanan yang sama dengan layanan big data open source dan database yang dikelola.

Modul

Deskripsi

Mesin penyimpanan

MaxCompute menyediakan mesin penyimpanan MaxCompute (penyimpanan internal) untuk menyimpan tabel dan sumber daya MaxCompute. Anda juga dapat menggunakan tabel eksternal untuk membaca data yang disimpan di layanan seperti OSS, Tablestore, dan ApsaraDB RDS.

Mesin penyimpanan MaxCompute terutama menggunakan penyimpanan berorientasi kolom. Dalam sebagian besar kasus, ukuran data terkompresi adalah seperlima dari ukuran data asli.

Mesin komputasi

MaxCompute menyediakan mesin SQL MaxCompute dan platform komputasi Cupid.

• Mesin SQL MaxCompute: memungkinkan Anda langsung menjalankan tugas SQL MaxCompute. Untuk informasi lebih lanjut tentang persyaratan sintaksis dan contoh pengembangan pernyataan dan fungsi SQL MaxCompute, lihat Ikhtisar SQL MaxCompute.

• Platform komputasi Cupid: memungkinkan Anda menjalankan tugas mesin pihak ketiga, seperti tugas Spark dan tugas Mars. Untuk informasi lebih lanjut tentang persyaratan pengembangan dan contoh pengembangan multi-mesin, lihat PyODPS.

Lapisan layanan cloud

MaxCompute memungkinkan Anda membuat antrian tugas yang berbeda dan mengonfigurasi sumber daya dan prioritas yang berbeda untuk setiap antrian. Ini membantu Anda mengelola tugas secara rinci. MaxCompute juga menyediakan sistem penjadwalan yang kuat untuk mengelola dan mengoptimalkan alokasi dan penggunaan sumber daya komputasi. Ini membantu meningkatkan efisiensi keseluruhan sistem. MaxCompute memberikan perlindungan multi-lapis untuk keamanan data, termasuk isolasi proyek, manajemen izin, dan enkripsi data untuk memastikan keamanan dan privasi data.

Sistem metadata dan keamanan terpadu

MaxCompute menyediakan layanan Skema Informasi untuk Anda gunakan metadata tingkat tenant secara offline. Skema Informasi juga memungkinkan Anda menanyakan data berdasarkan log historis MaxCompute. Dengan cara ini, Anda dapat menganalisis informasi berjalan pekerjaan, seperti konsumsi sumber daya, durasi berjalan, dan jumlah data yang diproses, untuk mengoptimalkan pekerjaan atau merencanakan kapasitas sumber daya.

MaxCompute juga menyediakan sistem manajemen keamanan yang komprehensif, seperti sistem kontrol akses, enkripsi data, dan penyembunyian data dinamis, untuk memastikan keamanan data. Untuk informasi lebih lanjut tentang keamanan, lihat Fitur keamanan.

Antarmuka pengguna dan keterbukaan

MaxCompute menyediakan antarmuka pengguna berikut:

• Tunnel: layanan transmisi data MaxCompute. Layanan ini menyediakan kluster bersama dan kluster eksklusif.

• API dan SDK

  • API Restful

  • SDK untuk Java dan PyODPS

• Driver Java Database Connectivity (JDBC)

• Connector: sebuah konektor yang dikemas untuk layanan pihak ketiga, seperti Flink, Spark, dan Kafka. Untuk informasi lebih lanjut, lihat Gunakan Flink untuk menulis data ke tabel Delta dan Impor data Kafka ke MaxCompute dalam mode offline atau real-time.

Ekosistem data

MaxCompute terintegrasi mendalam dengan DataWorks. Anda dapat menggunakan DataWorks untuk mengimplementasikan pengembangan data ujung ke ujung, analitik, dan tata kelola. DataWorks mendukung skenario pengembangan dan analitik data berikut:

• Danau data

• Integrasi data

• Tata kelola data

• Pengembangan data menggunakan mesin pihak ketiga

• Analitik data visual

TopConsole (konsol MaxCompute)

Konsol MaxCompute menyediakan kemampuan manajemen konfigurasi dasar, seperti manajemen proyek MaxCompute, manajemen kuota, dan manajemen tenant. Konsol MaxCompute juga menyediakan kemampuan O&M dasar, seperti O&M pekerjaan dan observasi sumber daya, serta kemampuan O&M yang ditingkatkan, seperti tampilan material dan analitik serta optimasi biaya. Untuk informasi lebih lanjut, lihat Manajemen dan penggunaan sumber daya.