MaxCompute:PyODPS genel bakış

PyODPS aşağıdaki senaryolarda kullanılır:

• Hızlı başlangıç.

• PyODPS kullanarak bölümlenmiş tablolardan veri okuma.

• PyODPS'te parametre aktarma.

• PyODPS ile üçüncü taraf paketleri kullanma.

• PyODPS kullanarak karma bölmelerini görüntüleme.

• PyODPS kullanarak koşullu sorgular gerçekleştirme.

• PyODPS'te Sequence ve execution işlemlerini kullanma.

PyODPS yerel ortamlarda, DataWorks'te ve PAI Notebooks'ta çalışır.

• Yerel ortam: PyODPS'yi yerel ortamınıza yükleyip kullanabilirsiniz. Daha fazla bilgi için bkz. PyODPS'yi yerel ortamda kullanma.

• DataWorks: PyODPS, DataWorks'teki PyODPS düğümlerinde önceden yüklüdür. Bu düğümlerde PyODPS işlerini doğrudan geliştirebilir ve periyodik olarak çalıştırabilirsiniz. Daha fazla bilgi için bkz. PyODPS'yi DataWorks'te kullanma.

• PAI Notebooks: PyODPS'yi PAI Python ortamına yükleyip çalıştırabilirsiniz. PyODPS, PAI-Designer'ın özel Python bileşeni gibi yerleşik PAI görüntülerinde önceden yüklüdür ve kullanıma hazırdır. PAI Notebooks'ta PyODPS kullanımı, standart kullanıma benzer. Daha fazla bilgi için bkz. Temel işlemlere genel bakış ve DataFrame (önerilmez).

PyODPS; PC'ler, Data Studio'daki DataWorks PyODPS düğümleri ve PAI Notebook ortamları dahil olmak üzere çeşitli istemcilerde çalışan bir SDK'dır. PyODPS, verileri yerel makineye çekmek için tunnel download, execute ve to_pandas işlemleri gibi birkaç kullanışlı işlem sağlar. Sonuç olarak, birçok yeni kullanıcı verileri yerel olarak çekmeye, işlemeye ve ardından MaxCompute'a geri yüklemeye çalışır. Ancak bu yöntem genellikle oldukça verimsizdir. Verileri yerel olarak çekmek, MaxCompute'ın büyük ölçekli paralel hesaplama yeteneklerinden yararlanmanızı engeller.

Aşağıdaki belirteçleştirme örneği, her iki yöntem için kodu karşılaştırır.

• Örnek senaryo

  Günlük log dizelerini analiz ederek bilgi çıkarmanız gerekmektedir. Dize türünde tek bir sütun içeren bir tablonuz vardır. Çince metni belirteçlere ayırmak, istediğiniz anahtar kelimeleri bulmak ve bu anahtar kelimeleri bir bilgi tablosunda depolamak için jieba kitaplığını kullanmalısınız.

• Verimsiz işleme kodu demosu

  import jieba
  t = o.get_table('word_split')
  out = []
  with t.open_reader() as reader:
      for r in reader:
          words = list(jieba.cut(r[0]))
          #
          # Processing logic to generate processed_data
          #
          out.append(processed_data)
  out_t = o.get_table('words')
  with out_t.open_writer() as writer:
      writer.write(out)

  Bu yaklaşım tek makineli işleme zihniyetini takip eder: verileri satır satır okur, satır satır işler ve ardından hedef tabloya satır satır yazar. Tüm süreç, veri indirme ve yükleme için çok fazla zaman harcar. Komut dosyasını çalıştıran makinenin ayrıca tüm verileri işlemek için büyük miktarda belleğe ihtiyacı vardır. DataWorks düğüm kullanıcıları için bu yaklaşım, varsayılan olarak ayrılan belleği aşarak kolayca OOM hatasına neden olabilir.

• Verimli işleme kodu demosu

  from odps.df import output
  out_table = o.get_table('words')
  df = o.get_table('word_split').to_df()
  
  # Assume the following fields and types need to be returned
  out_names = ["word", "count"]
  out_types = ["string", "int"]
  
  @output(out_names, out_types)
  def handle(row):
      import jieba
      words = list(jieba.cut(row[0]))
      #
      # Processing logic to generate processed_data
      #
      yield processed_data
  df.apply(handle, axis=1).persist(out_table.name)

  Dağıtılmış yürütme için apply yöntemini kullanın:

  • Karmaşık mantık handle işlevine yerleştirilir. Bu işlev, UDF olarak kullanılmak üzere sunucu tarafına otomatik olarak serileştirilir, burada çağrılır ve yürütülür. Handle işlevi sunucu tarafında yürütme sırasında verileri satır satır işlediğinden mantık aynıdır. Fark şudur ki, bu program MaxCompute'da yürütülmek üzere gönderildiğinde, birden fazla makine verileri aynı anda işler. Bu da çok fazla zaman kazandırır.

  • Persist arayüzünün çağrılması, oluşturulan verileri doğrudan başka bir MaxCompute tablosuna yazar. Tüm veri üretimi ve tüketimi MaxCompute kümesi içinde gerçekleşir. Bu sayede yerel ağ ve bellek kaynaklarından tasarruf edilir.

  • Bu örnek ayrıca üçüncü taraf bir paket de kullanır. MaxCompute, UDF'lerde bu örnekteki jieba gibi üçüncü taraf paketleri destekler. Bu nedenle kod değişikliklerinin maliyeti konusunda endişelenmenize gerek yoktur. Ana mantığınızda neredeyse hiçbir değişiklik yapmadan MaxCompute'ın büyük ölçekli hesaplama yeteneklerinden yararlanabilirsiniz.