DataWorks:Serverless Ray node

Pendahuluan

Di DataWorks, node Serverless Ray memungkinkan Anda menulis kode Python secara online dan mengonfigurasi perintah ray job submit untuk mengembangkan, men-debug, dan menjadwalkan job Anda.

Batasan

• Sumber daya komputasi: Anda hanya dapat memilih sumber daya komputasi EMR Serverless Ray yang telah di-bind. Serverless resource group juga harus memiliki konektivitas jaringan dengan sumber daya komputasi tersebut.

• Bahasa: Hanya bahasa Python yang didukung.

• Eksekusi: Anda hanya dapat mengirimkan seluruh skrip untuk dieksekusi. Menjalankan baris tunggal atau blok kode individual tidak didukung.

Buat node Serverless Ray

Membuat node Serverless Ray mengikuti prosedur yang sama seperti jenis node lainnya di Data Development. Untuk informasi lebih lanjut, lihat Nodes.

Kembangkan node Serverless Ray

Mengembangkan node Serverless Ray mencakup dua bagian: menulis kode Python di editor kode dan mengonfigurasi perintah pengiriman job di bagian Submit command. Saat Anda membuat file, sistem secara otomatis menghasilkan perintah pengiriman dengan nama file yang sesuai dengan nama node dan memiliki ekstensi .py.

import ray
import random
import time
import sys

ray.init()

@ray.remote
def compute_points_in_circle(num_points: int) -> int:
    inside = 0
    for _ in range(num_points):
        x = random.uniform(0, 1)
        y = random.uniform(0, 1)
        if x * x + y * y <= 1:
            inside += 1
    return inside

def estimate_pi(total_points: int, num_workers: int = 4) -> float:
    start_time = time.time()
    points_per_worker = total_points // num_workers
    tasks = [compute_points_in_circle.remote(points_per_worker) for _ in range(num_workers)]
    results = ray.get(tasks)
    total_inside = sum(results)
    pi_estimate = 4.0 * total_inside / total_points
    print(f"Estimated π: {pi_estimate:.10f}, seconds: {time.time() - start_time:.4f}")
    return pi_estimate

if __name__ == "__main__":
    estimate_pi(total_points=int(sys.argv[1]), num_workers=4)
    ray.shutdown()

ray job submit \
--working-dir "." \
-- python ss_ray.py 1000000

Jika sebuah job bergantung pada beberapa file Python, Anda dapat membuat file dependensi tersebut sebagai resource Ray File DataWorks, mereferensikannya dalam kode Anda menggunakan ##@resource_reference, lalu menyusun perintah ray job submit dengan --working-dir yang mengarah ke direktori kerja. Untuk informasi lebih lanjut tentang pembuatan resource, lihat EMR Resources and Functions.

Debug node Serverless Ray

1. Konfigurasikan properti runtime.

   Di panel Run Configuration di sisi kanan editor node, konfigurasikan parameter berikut.

   Parameter	Deskripsi
   Compute Resource	Pilih sumber daya komputasi Serverless Ray yang telah di-bind.
   Resource Group	Pilih Serverless resource group yang telah lulus uji konektivitas jaringan. Node Serverless Ray hanya mendukung Serverless resource group.
   Script parameters	Jika Anda menentukan variabel dalam format ${Parameter Name} saat mengonfigurasi node, Anda harus mengatur Parameter name dan Parameter Value di bagian Script Parameters. Saat waktu proses, sistem akan mengganti variabel tersebut secara dinamis dengan nilai aktualnya. Untuk informasi selengkapnya, lihat Sumber dan ekspresi parameter penjadwalan.

2. Debug dan jalankan node.

   Klik Save lalu Run untuk memulai debugging.

Langkah berikutnya

• Configure scheduling properties for a node: Jika node harus dijalankan secara berkala, Anda harus mengonfigurasi Scheduling Policy dan properti penjadwalan lainnya di panel Scheduling Settings di sisi kanan editor node.

• Publish a node: Jika job harus dijalankan di lingkungan produksi, klik ikon untuk memulai proses penerbitan. Setelah Anda menerbitkan node ke lingkungan produksi, node tersebut akan dijalankan secara berkala berdasarkan properti penjadwalannya.

Dokumentasi terkait

Untuk informasi lebih lanjut tentang cara mereferensikan Ray File, lihat Lindorm Ray node.