DataWorks:Serverless Ray node

Pendahuluan

EMR Serverless Ray menyediakan komputasi Ray terkelola di atas ruang kerja Spark. Layanan ini kompatibel dengan API Ray open-source dan mendukung model pemrograman Python untuk komputasi terdistribusi, pembelajaran mesin, dan pemrosesan data. Dengan node Serverless Ray, Anda dapat menulis kode Python secara daring serta mengonfigurasi perintah ray job submit untuk mengembangkan, men-debug, dan menjadwalkan pekerjaan Anda.

Batasan

• Sumber daya komputasi: Anda hanya dapat memilih sumber daya komputasi EMR Serverless Ray yang telah di-bind. Kelompok sumber daya serverless juga harus memiliki konektivitas jaringan dengan sumber daya komputasi tersebut.

• Bahasa: Hanya bahasa Python yang didukung.

• Eksekusi: Anda hanya dapat mengirimkan seluruh skrip untuk dieksekusi. Menjalankan baris kode tunggal atau blok kode individual tidak didukung.

Buat node Serverless Ray

Anda membuat node Serverless Ray dengan cara yang sama seperti jenis node lainnya di Data Studio. Untuk informasi lebih lanjut, lihat Nodes.

Kembangkan node Serverless Ray

Untuk mengembangkan node Serverless Ray, tulis kode Python di editor kode dan konfigurasikan perintah pengiriman pekerjaan di bagian Submit Command. Saat Anda membuat file, sistem secara otomatis menghasilkan perintah pengiriman dengan nama file yang sesuai dengan nama node dan berekstensi .py.

import ray
import random
import time
import sys

ray.init()

@ray.remote
def compute_points_in_circle(num_points: int) -> int:
    inside = 0
    for _ in range(num_points):
        x = random.uniform(0, 1)
        y = random.uniform(0, 1)
        if x * x + y * y <= 1:
            inside += 1
    return inside

def estimate_pi(total_points: int, num_workers: int = 4) -> float:
    start_time = time.time()
    points_per_worker = total_points // num_workers
    tasks = [compute_points_in_circle.remote(points_per_worker) for _ in range(num_workers)]
    results = ray.get(tasks)
    total_inside = sum(results)
    pi_estimate = 4.0 * total_inside / total_points
    print(f"Estimated π: {pi_estimate:.10f}, seconds: {time.time() - start_time:.4f}")
    return pi_estimate

if __name__ == "__main__":
    estimate_pi(total_points=int(sys.argv[1]), num_workers=4)
    ray.shutdown()

ray job submit \
--working-dir "." \
-- python ss_ray.py 1000000

Jika pekerjaan Anda bergantung pada beberapa file Python, Anda dapat membuat file dependensi tersebut sebagai resource Ray File DataWorks, mereferensikannya dalam kode Anda dengan menggunakan ##@resource_reference, lalu menyusun perintah ray job submit dengan --working-dir yang mengarah ke direktori kerja. Untuk informasi lebih lanjut tentang pembuatan resource, lihat Create an EMR resource.

Debug node Serverless Ray

1. Konfigurasikan konfigurasi run.

   Di panel Run Configuration di sisi kanan node, konfigurasikan parameter berikut.

   Parameter	Deskripsi
   Compute Resource	Pilih sumber daya komputasi Serverless Ray yang telah Anda asosiasikan.
   Resource Group	Pilih kelompok sumber daya serverless yang telah lulus uji konektivitas jaringan. Node Serverless Ray hanya mendukung kelompok sumber daya serverless.
   Script Parameters	Saat mengonfigurasi konten node, Anda dapat mendefinisikan variabel dengan menggunakan ${nama parameter}. Konfigurasikan bagian Script Parameters dengan Parameter name dan Parameter Value. Nilai-nilai ini akan diganti secara dinamis dengan nilai aktual saat waktu proses. Untuk informasi lebih lanjut, lihat Configure scheduling parameters.

2. Debug dan jalankan node.

   Klik Save lalu klik Run untuk men-debug node.

Langkah berikutnya

• Configure schedule settings: Jika Anda ingin node dalam direktori proyek dijadwalkan secara berkala, konfigurasikan Scheduling Policy dan properti penjadwalan terkait di panel Scheduling Settings di sisi kanan node.

• Deploy a node: Jika Anda ingin menerapkan task ke lingkungan produksi, klik ikon di halaman untuk memulai proses penerapan. Node dalam direktori proyek hanya dijadwalkan secara berkala setelah diterapkan ke lingkungan produksi.

Referensi

Untuk detail tentang mereferensikan resource Ray File, lihat Reference a Ray File resource.