Kaynaklar, veri işleme görevlerini tamamlamak için kullanılan çeşitli yardımcı dosya veya programlardır. Çoğu durumda kaynaklar, MapReduce görevleri veya kullanıcı tanımlı işlev (UDF) kullanan görevler gibi işleri çalıştırmak amacıyla kullanılır. MaxCompute'ün kaynak yönetimi özelliği sayesinde kaynakları yükleyebilir, kaydedebilir ve yönetebilirsiniz.
Kavram
Kaynak, MaxCompute'e özgü bir kavramdır. MaxCompute UDF'leri veya MapReduce kullanarak görevleri çalıştırmak istiyorsanız dosyaları MaxCompute kaynağı olarak yüklemelisiniz.
SQL UDF: Bir UDF yazdıktan sonra kodu JAR paketi halinde sıkıştırıp paketi kaynak olarak MaxCompute'e yüklemeniz gerekir. UDF'yi çalıştırdığınızda MaxCompute JAR paketini otomatik olarak indirir ve UDF'yi yürütmek üzere paketteki kodu alır. JAR dosyaları bir MaxCompute kaynak türüdür. Bir JAR dosyası yüklediğinizde MaxCompute'te bir kaynak oluşturulur.
MapReduce: Bir MapReduce programı yazdıktan sonra programı JAR paketi halinde sıkıştırıp paketi kaynak olarak MaxCompute'e yüklemeniz gerekir. Bir MapReduce görevi çalıştırdığınızda MapReduce JAR paketini otomatik olarak indirir ve görevi yürütmek üzere paketteki kodu alır.
Metin dosyalarını ve MaxCompute tablolarını kaynak olarak MaxCompute'e yükleyebilirsiniz. Ardından UDF'leri çalıştırırken veya MapReduce görevlerini yürütürken bu kaynaklara erişebilir ya da bunları kullanabilirsiniz. MaxCompute, kaynaklara erişmek ve kullanmak için çağırabileceğiniz API'ler sağlar. Daha fazla bilgi için Kaynak örneklerine ve Java UDF'lere bakın.
MaxCompute UDF'lerin ve MapReduce'un kaynaklara erişimi konusunda bazı sınırlamalar bulunur. Daha fazla bilgi için Sınırlamalara bakın.
Kaynak türleri
Boyutu 2.048 MB'ı aşmayan bir nesneyi kaynak olarak MaxCompute'e yükleyebilirsiniz. MaxCompute aşağıdaki kaynak türlerini destekler:
Dosya: .zip, .so veya .jar biçimindeki dosyalar.
-
Tablo: MaxCompute'teki tablolar.
NotMapReduce tarafından başvurulan tablolarda yalnızca BIGINT, DOUBLE, STRING, DATETIME ve BOOLEAN alanları desteklenir.
JAR: Derlenmiş JAR paketleri.
Arşiv: Kaynak adı uzantısıyla tanımlanan sıkıştırılmış dosyalar. Aşağıdaki dosya türleri desteklenir: .zip, .tgz, .tar.gz, .tar ve .jar.
Python: Yazdığınız Python kodu. Python kodunu kullanarak Python UDF'leri kaydedebilirsiniz.