DataWorks:PyODPS düğümünde üçüncü taraf paketleri kullanın

Temel kavramlar

1. Düğüm türü: PyODPS 2 ile PyODPS 3

   • PyODPS 2: Python 2.7 ortamına dayanır.

   • PyODPS 3: Python 3.7+ ortamına dayanır.

   • Öneri: Resmi Python 2 desteği sona erdiğinden PyODPS 3 kullanmanızı şiddetle öneririz. Bu konuda birincil örnek olarak PyODPS 3 kullanılmaktadır.

2. Kaynak grubu türü: serverless resource group ile exclusive resource group for scheduling

   • Serverless resource group (Önerilen): Bu kaynak grubu esnektir ve bakım gerektirmez. Üçüncü taraf paketleri yönetmek için özel görüntüler kullanmanıza olanak tanır.

   • Exclusive resource group for scheduling (Önerilmez): Bu eski bir çözümdür. ECS sunucularını satın almanız ve bakımlarını yapmanız gerekir; ayrıca kaynakları elastik olarak ölçeklendirilemez. Bağımlılıkları yüklemek için O&M Assistant kullanmanın birçok sınırlaması vardır ve ortamı bozabilir.

Kaynak grubu türünü belirleme

DataWorks konsolu içinde çalışma alanınızın Workspace Details sayfasına gidin. Resource Group sayfasında workspace ile ilişkili kaynak grubu türünü kontrol edin.

• Tür General-purpose ise serverless resource group kullanıyorsunuz demektir.

• Tür Data Scheduling ise exclusive resource group for scheduling kullanıyorsunuz demektir.

1. Adım: pendulum kütüphanesini içeren özel bir görüntü oluşturma

Özel görüntüler serverless resource group için çalışma zamanı ortamını tanımlar.

1. DataWorks konsoluna giriş yapın ve sol gezinme bölmesinde Image Management öğesine tıklayın.

2. Custom Image sekmesine gidin.

3. Sol üst köşede Create Image seçeneğine tıklayın. Oluşturma sayfasında aşağıdaki temel parametreleri yapılandırın:

   Parametre	Açıklama
   Image Name	Özel görüntü için bir ad girin, örneğin pyodps3_with_pendulum.
   Reference Type	DataWorks Official Image seçeneğini belirleyin.
   Image Name/ID	Açılan listeden resmi DataWorks görüntüsü olan dataworks_pyodps_task_pod öğesini seçin.
   Supported Task Types	PyODPS 3 görev türünü seçin.
   Installation Package	Python3 seçeneğini belirleyin ve ardından açılan listeden sistem tarafından sağlanan pendulum paketini seçin. Yerleşik olmayan açık kaynaklı bir paketi yüklemek için manuel kurulum amacıyla Betik modunu kullanabilirsiniz. Yapılandırma yöntemleri hakkında daha fazla bilgi için bkz. Özel görüntü oluşturma parametreleri. Önemli Genel internetten açık kaynaklı paketleri yüklemek için serverless resource group ile ilişkili VPC'nin genel ağ erişimine sahip olması gerekir.

4. Özel görüntüyü oluşturmak için OK seçeneğine tıklayın.

5. Custom Images sayfasında görüntüyü test edin ve ardından deploy edin. Bir görüntünün dağıtılabilmesi için testi başarıyla geçmesi gerekir.

6. Hedef görüntünün Operation sütununda > Modify Owning Workspace seçeneklerine tıklayarak özel görüntüyle bir owning workspace ilişkilendirin.

   Görüntü başarıyla dağıtıldıktan sonra Deployment Status durumu Deployed olarak değişir ve Actions sütununda bir Disable düğmesi görünür. Actions açılır menüsü ayrıca Modify, Build, View Versions ve Delete Image gibi seçenekler de içerir.

2. Adım: PyODPS 3 düğümü oluşturma ve yapılandırma

1. Sol gezinme çubuğunda Data Development and O&M > Data Studio seçeneklerine tıklayın, açılan listeden hedef workspace seçin ve Go to DataStudio seçeneğine tıklayın.

2. Mevcut bir business flow içinde pyodps3_pendulum_test adlı bir PyODPS 3 düğümü oluşturun.

3. pyodps_pendulum_test düğümünün kod düzenleyicisinde aşağıdaki Python 3 kodunu girin:

   # The pendulum package is installed in the custom image, so you can import it directly.
   import pendulum
   print("Start testing the third-party package pendulum...")
   try:
       # Use pendulum to get the current time in the "Asia/Shanghai" time zone.
       shanghai_time = pendulum.now('Asia/Shanghai')
       # Print the formatted time and time zone information.
       print(f"Successfully imported the 'pendulum' package.")
       print(f"The current time in Shanghai is: {shanghai_time.to_datetime_string()}")
       print(f"The corresponding time zone is: {shanghai_time.timezone_name}")
       print("\nTest passed! The PyODPS node successfully called the third-party package.")
   except Exception as e:
       print(f"Test failed. An error occurred: {e}")

3. Adım: Sonucu test etme ve doğrulama

1. Araç çubuğundaki simgesine tıklayarak kodu çalıştırın ve Parameter iletişim kutusunda oluşturduğunuz pyodps3_with_pendulum görüntüsünü seçin.

   Önemli

   Hedef görüntüyü bulamıyorsanız görüntünün mevcut workspace ile ilişkilendirildiğinden emin olun. Daha fazla bilgi için "1. Adım: Özel bir görüntü oluşturma" bölümündeki 6. adıma bakın.

2. Sayfanın alt kısmındaki run log çıktısını inceleyin. Aşağıdaki çıktı pendulum paketinin başarıyla çağrıldığını gösterir.

   Start testing the third-party package pendulum...
   Successfully imported the 'pendulum' package.
   The current time in Shanghai is: 2025-09-27 15:45:00
   The corresponding time zone is: Asia/Shanghai
   Test passed! The PyODPS node successfully called the third-party package.

4. Adım: PyODPS 3 düğümünü dağıtma

Test tamamlandıktan sonra sağ bölmede Scheduling > Resource Group yolunu izleyin. serverless resource group seçeneğini belirleyin ve görüntüyü oluşturduğunuz pyodps3_with_pendulum özel görüntüsüne ayarlayın. Ardından düğümü Operation Center'a dağıtabilirsiniz.