Tüm Ürünler
Search

Bu Ürün

    DataWorks:MaxCompute özel görüntüsü oluşturun

    Belge Merkezi

    DataWorks:MaxCompute özel görüntüsü oluşturun

    Son Güncelleme:Oct 05, 2026

    DataWorks, kişisel geliştirme ortamından bir DataWorks özel görüntüsü oluştururken bir MaxCompute özel görüntüsü de oluşturmanıza olanak tanır. Bu yaklaşım, üçüncü taraf bağımlılıkları bir kez yükleyip ortamı yeniden kullanılabilir bir görüntü olarak yayınlamanızı sağlayarak geliştirmeyi hızlandırır. Oluşturduğunuz bu görüntüyü, her iş için kaynakları paketleyip yüklemenize gerek kalmadan PyODPS 3 düğümleri ve Notebook düğümleri gibi DataWorks düğümlerinde doğrudan referans gösterebilirsiniz.

    Genel bilgiler

    MaxCompute görüntü yönetimi özelliği sayesinde özel görüntüler oluşturabilirsiniz. SQL UDF, PyODPS ve MaxFrame geliştirme gibi senaryolarda mevcut görüntüleri doğrudan referans göstererek kaynakları paketleme ve yükleme ihtiyacını ortadan kaldırabilirsiniz. DataWorks'te, kişisel geliştirme ortamınızdan hem bir DataWorks görüntüsü hem de bir MaxCompute özel görüntüsünü aynı anda oluşturabilirsiniz.

    Önkoşullar

    MaxCompute özel görüntüsü oluşturun

    Hazırlıklar

    Sınırlamalar

    MaxCompute özel görüntüsü oluştururken aşağıdaki sınırlamalara dikkat edin:

    • Görüntü boyutu: Tek bir MaxCompute görüntüsünün maksimum boyutu 10 GB olmalıdır.

    • Görüntü sayısı: Her MaxCompute kiracısı en fazla 10 görüntü yükleyebilir.

    MaxCompute görüntüsü kullanırken: DataWorks, MaxCompute görüntülerini Python 3.11 ortamı temel alarak oluşturur. DataWorks'te oluşturulan bir MaxCompute özel görüntüsünü çalıştırmak için Python ortamınızın sürümünün 3.11 olduğundan emin olun.

    Kişisel geliştirme ortamı örneği oluşturun

    Data Studio'ya gidin ve dataworks-maxcompute:py3.11-ubuntu20.04 görüntüsünü kullanarak bir kişisel geliştirme ortamı örneği oluşturun. Ortamı kaydederken bir MaxCompute özel görüntüsü oluşturmak için bu adım gereklidir.

    1. Data Studio'ya gidin.

      1. DataWorks konsolundaki Çalışma Alanları sayfasına gidin. Üst gezinme çubuğunda istediğiniz bölgeyi seçin. İlgili çalışma alanını bulun ve Actions sütununda Shortcuts > Data Studio seçeneğini belirleyin.

      2. Data Studio sayfasının sol gezinme bölmesinde, DataStudio sayfasına gitmek için image simgesine tıklayın.

    2. Kişisel geliştirme ortamı oluşturma sayfasına gidin. Sayfanın üst kısmında, ihtiyaçlarınıza göre bir örnek oluşturmak için Personal development environment öğesine tıklayın.

      • Henüz bir kişisel geliştirme ortamı örneğiniz yoksa Go to New seçeneğine tıklayın.

      • Zaten bir örneğiniz varsa Manage instances seçeneğine tıklayın. Kişisel geliştirme ortamı örnekleri listesinde Create Instance seçeneğine tıklayın.

    3. Kişisel geliştirme ortamını yapılandırın. DataWorks'te bir MaxCompute özel görüntüsü oluşturmak için aşağıdaki ayarları yapmanız gerekir. Diğer parametreler için bkz. Kişisel geliştirme ortamı örneği oluşturma.

      • Görüntü yapılandırması: dataworks-maxcompute:py3.11-ubuntu20.04 seçeneğini belirleyin.

        Not

        • Yalnızca dataworks-maxcompute:py3.11-ubuntu20.04 görüntüsünü seçtiğinizde MaxCompute özel görüntüsü oluşturabilirsiniz.

        • Temel görüntü olarak dataworks-maxcompute:py3.11-ubuntu20.04 kullanılarak oluşturulan bir DataWorks özel görüntüsü, DataWorks Notebook, Python ve Shell düğümlerinde MaxFrame işi geliştirmek için kullanılabilir.

      • Ağ ayarları: ACR erişimi için yapılandırdığınız VPC'yi seçin. Bu sayede, derleme işlemi sırasında kişisel geliştirme ortamı örneği görüntüyü ACR örneğine aktarabilir.

    Bağımlılıkları yükleyin

    Kişisel geliştirme ortamı örneğinizin terminalinde MaxCompute geliştirmesi için gereken üçüncü taraf bağımlılıklarını yüklemek üzere aşağıdaki adımları izleyin. Bu konuda örnek olarak jieba paketi kullanılmıştır.

    1. Data Studio sayfasının üst kısmında Personal development environment seçeneğine tıklayın ve Kişisel geliştirme ortamı örneği oluşturma bölümünde oluşturduğunuz kişisel geliştirme ortamı örneğini seçin.

    2. Data Studio sayfasının alt kısmındaki araç çubuğunda, terminali açmak için image simgesine tıklayın.

    3. Kişisel geliştirme ortamının terminalinde, üçüncü taraf bağımlılığı jieba paketini indirmek ve kurulumunu doğrulamak için aşağıdaki komutları çalıştırın.

      ## Install the third-party dependency.
pip install jieba;
## View the third-party dependency.
pip show jieba;

    Özel görüntüyü kaydedin

    Kişisel geliştirme ortamını bir DataWorks görüntüsü olarak kaydetmek ve aynı anda bir MaxCompute özel görüntüsü oluşturmak için aşağıdaki adımları izleyin. DataWorks, oluşturulan görüntüyü otomatik olarak aynı hesap altındaki ACR örneğine yükler.

    1. Kişisel geliştirme ortamı örnekleri yönetim sayfasına gidin.

      1. Sayfanın üst kısmında Personal Development Environment · Please Select seçeneğine tıklayın ve ardından oluşturduğunuz kişisel geliştirme ortamı örneğinin adına tıklayın.

      2. Açılan iletişim kutusunda Management Environment seçeneğini belirleyerek Personal Development Environment Instances sayfasına gidin.

    2. Görüntü Oluştur sayfasına gidin.

      1. Kişisel geliştirme ortamı örnekleri sayfasında, oluşturduğunuz örneği bulun.

      2. Örneğin Operation sütununda Create Image seçeneğine tıklayın.

    3. Aşağıdaki tabloda açıklanan görüntü parametrelerini yapılandırın ve Onayla seçeneğine tıklayın.

      Parametre

      Açıklama

      Image Name

      Özel DataWorks görüntüsünün adı. Görüntü MaxCompute ile eşitlenirse bu ad, MaxCompute özel görüntü adı olarak da kullanılır. Örnek: image_jieba.

      Image instance

      Standart Sürüm veya üzeri bir ACR örneği seçin. Daha fazla bilgi için bkz. Kurumsal örnek oluşturma.

      Not

      MaxCompute özel görüntüleri oluşturmak için yalnızca Standart Sürüm veya üzeri ACR örnekleri kullanılabilir.

      Namespace

      ACR örneği için bir ad alanı seçin. Daha fazla bilgi için bkz. Ad alanı oluşturma.

      Image Repository

      ACR örneği için bir görüntü deposu seçin. Daha fazla bilgi için bkz. Görüntü deposu oluşturma.

      Image Version

      Özel görüntü sürümü.

      Synchronize to MaxCompute

      Bu örnekte Yes seçeneğini belirleyin. Bu seçenek etkinleştirildiğinde, görüntüyü yayınlamak hem bir DataWorks görüntüsü hem de bir MaxCompute görüntüsü oluşturur.

      Not

      Bu seçenek yalnızca seçilen Image instance Standart Sürüm veya üzeri olduğunda kullanılabilir. Diğer örnek türleri için bu seçenek varsayılan olarak kullanılamaz.

      Task Type

      DataWorks görüntüsünü kullanabilecek görev türlerini seçin. Bu örnekte Notebook seçebilirsiniz.

      • Notebook

      • Python

      • Shell

    4. Görüntü kaydetme durumunu onaylayın.

      Örnek listesi sayfasında, kişisel geliştirme ortamının Görüntü sütununda görüntü kaydetme durumunu kontrol edebilirsiniz.

    5. Görüntüyü oluşturmak için Confirm seçeneğine tıklayın.

    6. Görüntü sütunu görünmüyorsa, örneğin sağ tarafındaki image simgesine tıklayın ve sütunu görüntülemek için Image onay kutusunu seçin.

    7. Görüntünün oluşturulmasını bekleyin. Durum Save successfully olarak değiştiğinde, durumun yanındaki image simgesinin üzerine gelin. Açılan pencerede here tıklayarak Image Management sayfasına gidin.

    Özel görüntüyü yayınlayın

    Kişisel geliştirme ortamınızdan görüntüyü kaydettikten sonra yayınlamak için aşağıdaki adımları izleyin. Bu işlem, görüntüyü ACR örneğinden DataWorks ve MaxCompute'e eşitler; böylece hem bir DataWorks özel görüntüsü hem de bir MaxCompute özel görüntüsü oluşturulur.

    1. DataWorks Çalışma Alanları sayfasına gidin ve üst gezinme çubuğunda hedef bölgeyi seçin.

    2. Sol gezinme bölmesinde Image Management > Custom Image sekmesine gidin. Görüntünüz için Test seçeneğine tıklayın. Test başarılı olduktan sonra Publish seçeneğine tıklayın.

      Not

      • Özel görüntüyü test ederken Test Resource Group için bir Serverless kaynak grubu seçin.

      • Test için kullanılan Serverless kaynak grubunun VPC'si, ACR örneğinizin VPC'siyle eşleşmelidir.

      • Özel görüntü testi üçüncü taraf paketleri getirirken zaman aşımına uğrarsa, Test Resource Group ile ilişkili VPC'nin internet erişimi olup olmadığını kontrol edin. VPC için genel erişimi yapılandırmak amacıyla bkz. İnternet NAT ağ geçidinin SNAT özelliğini kullanarak internete erişme.

    3. Sayfayı yenileyin ve listedeki görüntünün Publish Status değerinin Published olarak değiştiğini onaylayın.

    4. Hedef görüntünün Operation sütununda, özel görüntüyü bir çalışma alanına bağlamak için image > Change Workspace seçeneğine tıklayın.

    MaxCompute görüntü durumunu onaylayın

    DataWorks görüntüsünü yayınladıktan sonra ilgili bir MaxCompute görüntüsü de oluşturulur. DataWorks konsolundaki Image Management > Custom Image sekmesindeki görüntü durumu Yayınlandı olarak değiştiğinde, MaxCompute konsoluna gidin ve oluşturulan MaxCompute özel görüntüsünü görüntülemek için MaxCompute'e özel görüntü ekleme bölümündeki adımları izleyin.

    MaxCompute özel görüntüsü kullanma

    Kullanım notları

    • MaxFrame ile geliştirme yapmak için görüntünün MaxFrame hizmetini içermesi gerekir. Bir MaxCompute özel görüntüsünü DataWorks'te çalıştırmak için görüntünün Python 3.11 ortamında oluşturulmuş olması gerekir.

    • DataWorks'te MaxFrame işi geliştirmek için bir MaxCompute özel görüntüsü kullanmak üzere, görevin MaxFrame çalışma zamanı ortamını içeren bir DataWorks görüntüsünde çalıştığından emin olun. Spesifik gereksinimler şu şekildedir:

      • Notebook düğümü: Resmi görüntü dataworks-notebook:py3.11-ubuntu22.04 veya bu resmi görüntü ya da dataworks-maxcompute:py3.11-ubuntu20.04 görüntüsünden oluşturulan bir DataWorks özel görüntüsünü seçin.

      • PyODPS 3 düğümü: Resmi görüntü dataworks_pyodps_py311_task_pod veya bundan oluşturulan bir DataWorks özel görüntüsünü seçin.

      • Python düğümü: dataworks-maxcompute:py3.11-ubuntu20.04 görüntüsü temel alınarak MaxFrame hizmetini içeren bir kişisel geliştirme ortamı örneği oluşturun ve ardından bunu Python görevlerini destekleyen bir DataWorks özel görüntüsü olarak kaydedin.

      • Diğer düğümler: DataWorks özel görüntüsünün bir MaxFrame çalışma zamanı ortamı içerdiğinden ve Python 3.11 ortamında oluşturulduğundan emin olun.

    Data Studio'ya gidin

    1. DataWorks konsolundaki Çalışma Alanları sayfasına gidin. Üst gezinme çubuğunda istediğiniz bölgeyi seçin. İlgili çalışma alanını bulun ve Actions sütununda Shortcuts > Data Studio seçeneğini belirleyin.

    2. Data Studio sayfasının sol gezinme bölmesinde, DataStudio sayfasına gitmek için image simgesine tıklayın.

    Notebook düğümü

    Bu bölümde, MaxFrame'de bir MaxCompute özel görüntüsünün nasıl kullanılacağı Notebook düğümü örneği üzerinden açıklanmaktadır. Örnekte, MaxCompute özel görüntüsündeki jieba paketi kullanılmaktadır.

    1. Bir Notebook düğümü oluşturun.

      1. Sayfanın üst kısmında Personal development environment seçeneğine tıklayın ve oluşturduğunuz kişisel geliştirme ortamı örneğini seçin.

      2. Project Directory öğesinin sağındaki image simgesine tıklayın ve New Node > Notebook seçeneğini belirleyerek New Node iletişim kutusunu açın.

      3. New Node iletişim kutusunda düğüm için bir Name girin ve düzenleyiciyi açmak için Confirm seçeneğine tıklayın.

    2. Notebook düğümü kodunu düzenleyin.

      # -*- coding: utf-8 -*-
from odps import ODPS
from maxframe.session import new_session
import maxframe.dataframe as md  # Make sure that the maxframe.dataframe module is correctly imported.
from maxframe import config
# Prepare the dataset.
test_data = [
    "Grass growing on the old plain"
]
# Define a function to process data by using the jieba package from the MaxCompute custom image.
# Use the MaxCompute custom image.
def image_test():
    config.options.sql.settings = {
        "odps.session.image": "image_jieba"  # In this example, the MaxCompute image name is image_jieba. You can view the image name in the MaxCompute console.
    }
    def process(row):
        import jieba
        result = jieba.cut(row, cut_all=False)
        return "/".join(result)
    # Establish a MaxFrame connection.
    odps = %odps
    session = new_session(odps) 
    # Print the logview URL to view execution details.
    logview = session.get_logview_address()
    print("logview:", logview)
    # Create a MaxFrame DataFrame.
    # Encapsulate local test data, such as ["Grass growing on the old plain"], into a MaxFrame DataFrame object.
    df = md.DataFrame(test_data, columns=["raw_text"])
    # Apply the tokenization function to process the data in the DataFrame object.
    df["processed_text"] = df["raw_text"].map(process, dtype='object')
    print("Output:",df.execute().fetch())
image_test()
print("Data processing completed!")

    3. Düğüm düzenleyicisinin sol tarafındaki image simgesine tıklayın. Açılan iletişim kutusunda bir Python 3.11 kernel seçin, düğümü çalıştırın ve günlük bilgilerini görüntüleyin.

    PyODPS 3 düğümü

    Bu bölümde, MaxFrame'de bir MaxCompute özel görüntüsünün nasıl kullanılacağı PyODPS 3 düğümü örneği üzerinden açıklanmaktadır. Örnekte, MaxCompute özel görüntüsündeki jieba paketi kullanılmaktadır.

    1. Bir PyODPS 3 düğümü oluşturun.

      1. Project Directory öğesinin sağındaki image simgesine tıklayın ve New Node > MaxCompute > PyODPS 3 seçeneğini belirleyerek New Node iletişim kutusunu açın.

      2. New Node iletişim kutusunda düğüm için bir Name girin ve düzenleyiciyi açmak için Confirm seçeneğine tıklayın.

    2. PyODPS 3 düğümü kodunu düzenleyin.

      # -*- coding: utf-8 -*-
from odps import ODPS, options
from odps.df import DataFrame
import pandas as pd
# Prepare the table data.
options.sql.settings = {"odps.isolation.session.enable": True}
# Create a test table.
table = o.create_table('jieba_work_tb', 'col string', if_not_exists=True)
# Add sample data.
instance = o.run_sql("insert into table jieba_work_tb values ('Grass growing on the old plain')")
instance.wait_for_success()
# Define a function to process data by using the jieba package from the MaxCompute custom image.
def image_test():
    def process(row):
        import jieba
        result = jieba.cut(row, cut_all=False)
        return "/".join(result)
    # Encapsulate the table as a DataFrame object.
    df = o.get_table("jieba_work_tb").to_df()
    # Apply the tokenization function to process the data in the DataFrame object.
    df = df.col.map(process).execute(image='image_jieba') # In this example, the MaxCompute image name is image_jieba. You can view the image name in the MaxCompute console.
    print("Output:",df)
image_test()
print("Data processing completed!")

    3. PyODPS 3 düğümünü yapılandırın.

      Düğüm düzenleme sayfasının sağ tarafında Run Configuration seçeneğine tıklayın ve düğümü aşağıdaki tabloda açıklandığı şekilde yapılandırın.


      Parametre


      Açıklama


      Compute Resource


      Eklediğiniz MaxCompute hesaplama kaynaklarını seçin.


      Resource Group


      Eklediğiniz Serverless kaynak grubunu seçin.


      Image


      dataworks_pyodps_py311_task_pod:prod_20241210 seçeneğini belirleyin.

    4. Düğüm düzenleme sayfasının üst kısmındaki araç çubuğunda, düğümü çalıştırmak için image simgesine tıklayın.