Jalankan kueri Spark SQL dan Python di DMS Jupyter Notebook - Data Management

Topik ini menjelaskan cara menggunakan Jupyter Notebook yang disediakan oleh Data Management (DMS) untuk menanyakan dan menganalisis data. Notebook adalah halaman interaktif yang mengintegrasikan kode, teks, dan grafik, memungkinkan Anda berbagi informasi dengan pengguna lain secara mudah.

Antarmuka Pengguna Notebook

: Menyimpan konten yang telah diedit di dalam notebook.
: Menyisipkan sel di atas sel saat ini.
: Menghapus sel yang dipilih.
: Memotong sel yang dipilih.
: Menyalin sel yang dipilih.
: Menempelkan konten yang disalin ke sel yang dipilih.
: Mengeksekusi konten dari sel yang dipilih.
: Menghentikan kernel.
: Memulai ulang kernel.
: Memulai ulang kernel dan menjalankan notebook kembali.
: Mengubah atribut sel yang dipilih. Atribut opsional mencakup Code, SQL, Markdown, dan Raw.
: Membuka panel Copilot untuk pertanyaan data percakapan atau analisis.

Fitur yang didukung oleh DMS Jupyter Notebook

Kompatibel dengan Jupyter Notebook sumber terbuka, DMS Jupyter Notebook menyediakan kemampuan yang ditingkatkan untuk kueri SQL dan visualisasi. Bagian ini menjelaskan fitur-fitur yang didukung oleh DMS Jupyter Notebook.

Kernel IPython

Gunakan pip untuk menginstal paket ekstensi. Anda dapat mengakses notebook yang menggunakan kernel ini melalui Internet, dengan cara yang serupa dengan penggunaan Jupyter Notebook sumber terbuka.

Anda dapat menggunakan sintaks Spark untuk menanyakan data tabel dalam sebuah notebook. Contoh kode:
- Sintaks 1:
```
df = spark.sql("select * from customer limit 10").show();
```
- Sintaks 2:
```
%%spark_sql 
select * from customer limit 10;
```
- Sintaks 3:
  Di sebuah sel, pilih SQL > Spark SQL dan masukkan pernyataan SQL.
```
CREATE TABLE IF NOT EXISTS 'default'.'select_2' AS SELECT 2;
```
  Catatan
  Secara default, sel Spark SQL menampilkan hingga 3.000 baris per halaman. Untuk menyesuaikan jumlah baris yang ditampilkan, ubah variabel lingkungan DMS_SPARK_SQL_DEFAULT_LIMIT dengan memasukkan kode berikut di dalam sel:
```
os.environ['DMS_SPARK_SQL_DEFAULT_LIMIT'] = '3000';
```
Di bilah alat notebook, Anda dapat mengubah atribut sel dari Code menjadi SQL.
Sel SQL menggunakan sintaks yang sama seperti gudang data logis. Anda dapat menanyakan data lintas database dan menganalisis data secara real-time di sel SQL. Izin yang diperlukan sama dengan izin granular halus di DMS.
Di sel SQL dan Python, Anda dapat merujuk variabel dalam format ${Nama Variabel}, menyesuaikan nama variabel, dan melihat tipe variabel. Bagian berikut menjelaskan cara merujuk dan menghasilkan variabel di dalam notebook.
- Rujuk variabel
  Anda dapat merujuk variabel IPython dalam pernyataan SQL dalam format ${Nama Variabel IPython}.
- Menghasilkan variabel
  Anda dapat langsung merujuk set hasil dari sel SQL sebagai variabel di IPython. Nama variabel ditampilkan di pojok kiri bawah dari set hasil, dan tipe variabel adalah pandas.core.frame.DataFrame. Anda dapat mengklik nama variabel untuk menyesuaikan namanya.
Anda dapat memvisualisasikan set hasil dari kueri SQL dalam bentuk tabel atau grafik dengan mengklik ikon.

Kernel PySpark

Secara default, DMS Jupyter Notebook menggunakan AnalyticDB Spark. Anda juga dapat menggunakan Spark sumber terbuka di dalam notebook.

Spark Magic memungkinkan Anda menjalankan perintah magic %%help untuk melihat perintah yang didukung.

Catatan

Spark Magic adalah ekstensi dari Jupyter Notebook.

Gunakan AnalyticDB Spark

Setelah Anda membeli kluster AnalyticDB Edisi Danau Data, membuat grup sumber daya, dan membuat akun basis data, Anda dapat menggunakan perintah yang dijelaskan dalam tabel berikut.

Perintah	Deskripsi
`%%info`	Menampilkan konfigurasi AnalyticDB Spark.
`%%sql`	Mengirimkan pernyataan SQL ke AnalyticDB Spark.
`%%sql`	Membuat, membaca, dan menulis tabel C-Store. Untuk informasi lebih lanjut, lihat Baca dan tulis tabel internal.
`%%spark`	Mengirimkan kode Python ke AnalyticDB Spark.

Catatan

AnalyticDB Spark mempertahankan sesi baru selama 20 menit dan menghapus sesi tersebut setelah kedaluwarsa. Anda dapat memulai ulang kernel untuk membuat sesi lainnya.

Unggah dan unduh file

Anda dapat menggunakan ossutil untuk mengunggah dan mengunduh dataset. Untuk informasi lebih lanjut, lihat Konfigurasikan ossutil.

Prosedur

Buat sebuah notebook.
Pada tab , klik dan pilih Notebook.
Di bidang teks atau editor kode, masukkan konten menggunakan sintaks SQL, Code, Markdown, atau Raw.
Gunakan Copilot untuk menghasilkan pernyataan SQL.
Setelah Anda mengonfirmasi bahwa pernyataan SQL yang dihasilkan benar, eksekusi pernyataan SQL dan lihat set hasil yang dihasilkan.
1. Di sudut kanan atas bagian pernyataan SQL, klik Execute Query.
  Pernyataan SQL secara otomatis dimasukkan ke dalam dokumen di sebelah kiri. Set hasil yang dihasilkan ditampilkan di bawah pernyataan SQL.
  - Tampilkan set hasil dalam tabel.
  - Tampilkan set hasil dalam grafik.
Setelah pernyataan SQL dieksekusi, rujuk set hasil di sel SQL lain dalam bentuk variabel. Anda dapat menyesuaikan nama variabel tersebut.
Prediksi tren perubahan data.
1. Masukkan perintah untuk menginstal paket Python untuk pembelajaran mesin dan klik ikon Run untuk menginstal paket. Gambar berikut menunjukkan contoh kode.
2. Setelah paket diinstal, jalankan kode Python untuk memprediksi tren perubahan data dan menampilkan perubahan secara visual.

Apa yang harus dilakukan selanjutnya

Publikasikan agen AI

FAQ

T: Pengguna mana yang dapat melihat dokumen yang dihasilkan di Notebook?

J: Hanya pengguna dari penyewa yang sama yang merupakan anggota ruang kerja yang dapat melihat dokumen yang dihasilkan di Notebook. Jika pengguna tidak termasuk dalam penyewa yang memiliki ruang kerja, tambahkan pengguna ke penyewa dan tambahkan pengguna sebagai anggota ruang kerja.