Kueri dan analisis data di notebook - Data Management - Alibaba Cloud Documentation Center

Topik ini menjelaskan cara menggunakan DMS Jupyter Notebook untuk melakukan kueri dan menganalisis data. Notebook merupakan dokumen interaktif yang mengintegrasikan kode, teks, dan grafik dalam satu halaman, sehingga memudahkan Anda berbagi pekerjaan dengan pengguna lain.

Antarmuka notebook

Bilah alat menyediakan fungsi-fungsi berikut:

: Menyimpan perubahan Anda di notebook.
: Menyisipkan sel di atas sel saat ini.
: Menghapus sel yang dipilih.
: Memotong sel yang dipilih.
: Menyalin sel yang dipilih.
: Menempelkan konten yang disalin ke dalam sel yang dipilih.
: Menjalankan sel yang dipilih.
: Menghentikan kernel.
: Merestart kernel.
: Merestart kernel dan menjalankan ulang seluruh notebook.
: Mengalihkan tipe sel antara Code, SQL, Markdown, dan Raw.
: Membuka antarmuka obrolan Copilot.

Fitur DMS Jupyter Notebook

DMS Jupyter Notebook kompatibel dengan Jupyter Notebook open-source dan menyediakan kemampuan kueri SQL serta visualisasi yang ditingkatkan.

Kernel IPython

Fungsinya hampir identik dengan Jupyter Notebook open-source. Anda dapat menggunakan pip untuk menginstal paket ekstensi dan mengakses internet.

Lakukan kueri data tabel di notebook menggunakan sintaks Spark. Contoh berikut menunjukkan sintaksnya:
- Sintaks 1:
```
df = spark.sql("select * from customer limit 10").show();
```
- Sintaks 2:
```
%%spark_sql 
select * from customer limit 10;
```
- Sintaks 3:
  Pada suatu sel, pilih SQL > Spark SQL, lalu masukkan pernyataan SQL Anda.
```
CREATE TABLE IF NOT EXISTS 'default'.'select_2' AS SELECT 2;
```
  Catatan
  Secara default, sel Spark SQL menampilkan maksimal 3.000 baris. Untuk mengubah batas ini, ubah variabel lingkungan DMS_SPARK_SQL_DEFAULT_LIMIT dengan memasukkan kode berikut di suatu sel:
```
os.environ['DMS_SPARK_SQL_DEFAULT_LIMIT'] = '3000';
```
Pada bilah alat notebook, alihkan tipe sel dari Code ke SQL.
Sintaks yang digunakan dalam sel SQL hampir identik dengan sintaks gudang data logis. Fitur ini mendukung kueri lintas database dan analisis real-time. Persyaratan izinnya konsisten dengan izin detail halus di DMS.
Referensikan variabel dalam sel SQL dan Python (menggunakan format ${variable_name}), sesuaikan nama variabel, dan lihat tipe variabelnya. Bagian berikut menjelaskan cara mendefinisikan, menampilkan, dan mereferensikan variabel di notebook.
- Definisikan dan referensikan variabel
  Anda dapat mereferensikan variabel IPython di SQL dengan menggunakan ${var}, di mana var adalah nama variabel di IPython.
```
target_table = 'archieve_partitions'
SELECT
    *
FROM
    `datafactory`.`${target_table}`;
```
- Variabel output
  Di sel IPython, Anda dapat langsung menggunakan nama variabel, yang akan muncul di pojok kiri bawah set hasil. Tipe variabelnya adalah pandas.core.frame.DataFrame. Untuk mengganti nama variabel, klik nama variabel tersebut dan masukkan nama baru.
Set hasil SQL dapat divisualisasikan hanya dengan satu klik. Tampilan tabel maupun grafik didukung.
Pada tampilan grafik, panel kiri merupakan panel konfigurasi. Anda dapat mengatur Tipe grafik (misalnya grafik garis), bidang sumbu-X dan sumbu-Y, pengelompokan, serta kondisi filter. Di bagian atas panel tersedia tombol Try another dan Download image.

Kernel PySpark

AnalyticDB Spark didukung secara default. Spark open-source juga didukung.

Spark Magic menyediakan perintah ajaib %%help untuk dengan cepat menampilkan daftar perintah yang didukung.

Catatan

Spark Magic adalah ekstensi Jupyter Notebook.

AnalyticDB Spark

Setelah Anda membeli kluster AnalyticDB (Edisi Data Lakehouse), mengaktifkan dan membeli kelompok sumber daya, serta membuat akun database, Anda dapat menggunakan perintah-perintah berikut:

Perintah	Deskripsi
`%%info`	Memverifikasi atau memecahkan masalah konfigurasi AnalyticDB Spark.
`%%sql`	Mengirimkan pernyataan SQL ke AnalyticDB Spark.
`%%sql`	Menjalankan operasi DDL menggunakan sintaks untuk membaca dari dan menulis ke C-Store. Untuk informasi lebih lanjut, lihat Baca dari dan tulis ke tabel internal.
`%%spark`	Mengirimkan kode Python ke AnalyticDB Spark.

Catatan

Sesi AnalyticDB Spark tetap aktif selama 20 menit. Setelah periode ini, sesi akan kedaluwarsa dan dihapus. Anda dapat merestart kernel untuk membuat sesi baru.

Unggah dan unduh file

Gunakan ossutil untuk mengunggah dan mengunduh set data yang Anda butuhkan. Untuk informasi tentang cara mengonfigurasi ossutil, lihat Konfigurasi ossutil.

Prosedur

Buat notebook.
Pada tab Files, klik dan pilih Notebook.
Di editor sel, tulis konten dalam format SQL, Code, Markdown, atau Raw.
Gunakan Copilot untuk menghasilkan SQL.
Setelah memverifikasi bahwa SQL yang dihasilkan benar, jalankan pernyataan tersebut dan lihat set hasilnya.
1. Pada area SQL yang dihasilkan oleh Copilot, klik Execute Query.
  Pernyataan SQL secara otomatis dimasukkan ke dalam dokumen di sebelah kiri. Hasil kueri juga muncul di bawah pernyataan SQL.
  - Tampilan tabel
    Kueri mengembalikan tujuh baris dari tabel ORDERS, termasuk O_ORDERKEY (ID pesanan), O_CUSTKEY (ID pelanggan), dan O_ORDERSTATUS (status pesanan). Status pesanan untuk semua catatan adalah O.
  - Tampilan grafik
    Pada panel konfigurasi visualisasi data, atur tipe grafik menjadi grafik garis, pilih O_ORDERDATE sebagai bidang sumbu-X dan [Total] O_ORDERKEY sebagai bidang sumbu-Y. Hal ini menghasilkan grafik garis tren O_ORDERKEY yang diagregasi berdasarkan tanggal pesanan.
Setelah pernyataan SQL berhasil dijalankan, Anda dapat mereferensikan set hasilnya sebagai variabel di sel SQL lain. Anda juga dapat mengganti nama variabel tersebut.
Sebagai contoh, hasil kueri SQL secara otomatis membuat variabel bernama SQL_949364. Di sel kode Python, jalankan SQL_RES=SQL_949364 untuk menetapkan hasil tersebut ke variabel kustom bernama SQL_RES. Nilai kembalinya berupa pandas DataFrame.
Memprediksi tren data.
1. Instal paket pembelajaran mesin Python dengan menjalankan kode berikut di suatu sel.
```
pip install pandas numpy matplotlib scikit-Learn
```
2. Setelah paket terinstal, masukkan kode Python untuk memprediksi data dan memvisualisasikan hasilnya.

Langkah berikutnya

Publikasikan agen AI

FAQ

T: Siapa yang dapat melihat dokumen notebook?

J: Hanya anggota ruang kerja dan penyewa yang sama yang dapat melihatnya. Jika pengguna target tidak berada di penyewa saat ini, tambahkan pengguna tersebut ke penyewa yang sama dengan pembuat ruang kerja, lalu tambahkan pengguna tersebut sebagai anggota ruang kerja.