Associate a MaxCompute project as a compute resource - DataWorks

DataWorks'te MaxCompute görevleri geliştirmek için MaxCompute projenizi veri senkronizasyonu, geliştirme ve analiz amacıyla bir hesaplama kaynağı olarak DataWorks çalışma alanıyla ilişkilendirin.

Sınırlamalar

Bölge sınırlamaları: Çin (Hangzhou), Çin (Şangay), Çin (Pekin), Çin (Shenzhen), Çin (Chengdu), Çin (Hong Kong), Japonya (Tokyo), Singapur, Malezya (Kuala Lumpur), Endonezya (Cakarta), Almanya (Frankfurt), Birleşik Krallık (Londra), ABD (Silikon Vadisi) ve ABD (Virginia).
MaxCompute projesi ile DataWorks çalışma alanı aynı bölgede ve aynı Alibaba Cloud hesabı altında olmalıdır.

İzinler:

Hizmet	İşlem Yapan	İzinler
DataWorks	Alibaba Cloud hesabı	Ek izin gerekmez.
DataWorks	RAM kullanıcı/rolü	Yalnızca O&M veya Workspace Administrator rolüne sahip çalışma alanı üyeleri ya da `AliyunDataWorksFullAccess` iznine sahip üyeler hesaplama kaynakları oluşturabilir. Çalışma alanı üyelerine izin verebilirsiniz.
MaxCompute	RAM kullanıcı/rolü	Hesaplama kaynağını bağlamak için: MaxCompute için odps:ListProjects iznine ve hedef MaxCompute projesi için Super_Administrator iznine sahip olmanız gerekir. Varsayılan erişim kimliği gereksinimleri: Bu kimliğin MaxCompute projesi için admin veya super_administrator rolüne sahip olması gerekir. İlişkilendirmeden sonra platform, bu kimliğe üretim projesi için Role_Project_Scheduler rolünü atar.

Üretim ortamının varsayılan erişim kimliği tüm üretim verilerine sahiptir. Diğer hesapların Security Center üzerinden erişim talep etmesi gerekir.

İlişkili bir MaxCompute hesaplama kaynağının bölgesini kontrol etmek için çalışma alanı ayrıntıları sayfasına gidin veya Computing Resources listesini Management Center bölümünde açın ve hesaplama kaynağının ayrıntılarını görüntüleyin. Ayrıntılar arasında MaxCompute projesinin bölgesi de yer alır. Bu bilgi, çapraz bölge ilişkilendirme hatası gibi sorunları giderirken bölge bilgisine hızlıca ulaşmanızı sağlar.

Önkoşullar

MaxCompute etkinleştirilmiş ve DataWorks çalışma alanınızla aynı bölgede bir proje oluşturulmuş olmalıdır.
Bir DataWorks çalışma alanı oluşturulmuş ve RAM kullanıcınız Workspace Administrator rolüne sahip olmalıdır.

Not
DataWorks Basit mod ve Standart modu destekler. Çalışma alanı oluşturmadan önce Basit mod ile Standart mod arasındaki farkları anlayın.
Bir kaynak grubu çalışma alanıyla ilişkilendirilmiş ve ağ bağlantısı doğrulanmış olmalıdır.
- Sunucusuz kaynak grubu kullanıyorsanız, MaxCompute hesaplama kaynağı ile sunucusuz kaynak grubu arasında ağ bağlantısı olduğundan emin olun.
- Eski tür özel kaynak grubu kullanıyorsanız, MaxCompute hesaplama kaynağı ile zamanlama için özel kaynak grubu arasında ağ bağlantısı olduğundan emin olun.

Yeni Data Studio: Hesaplama kaynağını ilişkilendirme

Use Data Studio (New Version) seçeneğini kullanan bir çalışma alanına MaxCompute hesaplama kaynağı ilişkilendirin.

Hesaplama kaynağı sayfasına gitme

DataWorks konsolu üzerinde oturum açın ve hedef bölgeye geçiş yapın. Sol gezinme bölmesinde More > Management Center seçeneklerini tıklayın. Açılan listeden ilgili çalışma alanını seçin ve Go to Management Center düğmesini tıklayın.
Sol gezinme bölmesinde Computing Resources seçeneğini tıklayarak Hesaplama kaynağı sayfasını açın.

MaxCompute hesaplama kaynağını ilişkilendirme

Hesaplama kaynağı sayfasında bir MaxCompute hesaplama kaynağı ilişkilendirin.

Hesaplama kaynağı türünü seçin.
1. Associate Computing Resources düğmesini tıklayın; Associate Computing Resources sayfası açılır.
2. Associate Computing Resources sayfasında hesaplama kaynağı türü olarak MaxCompute seçeneğini belirleyerek Associate MaxCompute Computing Resource yapılandırma sayfasına gidin.

MaxCompute hesaplama kaynağını yapılandırın.

Associate MaxCompute Computing Resource yapılandırma sayfasında aşağıdaki parametreleri ayarlayın.

Parametre	Açıklama
MaxCompute Project	İlişkilendirilecek MaxCompute projesini seçin. Dahili MaxCompute projesi oluşturabilir veya harici MaxCompute projesi oluşturabilir, ardından yeni projeyi seçebilirsiniz. Not Standart modda, üretim ve geliştirme ortamları için ayrı MaxCompute projeleri seçin. MaxCompute faturalandırılabilir öğeler ve faturalandırma yöntemleri. Hedef proje listelenmiyorsa, mevcut hesaba proje için Super_Administrator rolünü verin.
Default Access Identity	Bu çalışma alanından MaxCompute projesine erişmek için kullanılan kimlik. Geliştirme ortamı: Yalnızca Executor kimliği desteklenir. Üretim ortamı: Alibaba Cloud Account, Alibaba Cloud RAM Sub-account ve RAM role kimlikleri desteklenir. Not Tüm erişim kimliklerini yalnızca bir Alibaba Cloud hesabı veya AdministratorAccess yetkisine sahip bir ana kullanıcı seçebilir. Üretim ortamı için Security Center tüm üretim verilerine sahiptir. Diğer hesapların Security Center üzerinden erişim talep etmesi gerekir. MaxCompute veri erişim kontrolü ve Approval Center.
Endpoint	MaxCompute projesine erişim için uç nokta; hizmet uç noktası ve veri aktarımı için Tunnel uç noktasını içerir. Auto Fit: DataWorks yapılandırmalarınıza otomatik olarak uyum sağlar. Önerilir. Custom Configuration: MaxCompute ve Tunnel uç noktalarını manuel olarak yapılandırın; bu uç noktalar bölgeye göre değişir.
Computing Resource Instance Name	Görevlerde seçim yapmak için çalışma zamanında kullanılan, hesaplama kaynağına ait benzersiz ad.

Bağlantıyı test edin.

MaxCompute görevlerini çalıştırmak için kaynak grubunu seçin ve erişimi doğrulamak amacıyla Test Connectivity düğmesini tıklayın. Ağ bağlantısı çözümleri.

Not
Kullanılabilir kaynak grubu yoksa öncelikle sunucusuz kaynak grubu ekleyip ilişkilendirin, ardından Computing Resources sayfasında bağlantı testi yapın.
İlişkilendirmeyi tamamlamak için Confirm düğmesini tıklayın.
Not
- İlişkilendirmeden sonra Data Sources sayfasında aynı ada sahip bir MaxCompute veri kaynağı otomatik olarak oluşturulur.
- İlişkilendirmeden sonra platform, gerekli izinlerle erişim kimliğini MaxCompute projesine ekleyerek yetkilendirir. Yetkilendirme tamamlanana kadar bağlantı testi izin hatasıyla başarısız olabilir. Bu durumda kaynağı kaydedin ve birkaç dakika sonra yeniden deneyin.

İlişkilendirilmiş MaxCompute hesaplama kaynağını değiştirme

İlişkilendirilmiş MaxCompute hesaplama kaynağını değiştirmek (örneğin, ilişkili projeyi değiştirmek, bağlamaları güncellemek veya yapılandırmayı düzenlemek) için Computing Resources listesini Management Center bölümünde açın, hedef hesaplama kaynağını bulun ve Edit seçeneğini tıklayın.

Düzenleme sayfasında ilişkili MaxCompute projesini, varsayılan erişim kimliğini, Endpoint değerini ve diğer yapılandırmaları değiştirebilirsiniz.

Eski Data Studio: Hesaplama kaynağını ilişkilendirme

Use Data Studio (New Version) seçeneğini kullanmayan bir çalışma alanına MaxCompute hesaplama kaynağı ilişkilendirin.

Hesaplama kaynağı sayfasına gitme

DataWorks konsolu üzerinde oturum açın. Hedef bölgede sol gezinme bölmesinden Data Development and O&M > Data Development yolunu izleyin. Açılan listeden bir çalışma alanı seçin ve Go to Data Development düğmesini tıklayın.
Sol gezinme bölmesinde simgesini tıklayarak Computing Resources sayfasını açın.

MaxCompute hesaplama kaynağını ilişkilendirme

Hesaplama kaynağı sayfasında bir MaxCompute hesaplama kaynağı ilişkilendirin.

Hesaplama kaynağı türünü seçin.
1. Create Computing Resource düğmesini tıklayarak Create Computing Resource sayfasını açın.
2. Create Computing Resource sayfasında hesaplama kaynağı türü olarak MaxCompute seçeneğini belirleyerek Create Computing Resource yapılandırma sayfasına gidin.

MaxCompute hesaplama kaynağını yapılandırın.

Create Computing Resource yapılandırma sayfasında aşağıdaki parametreleri ayarlayın.

Parametre	Açıklama
Authentication Method	Yeni hesaplama kaynakları yalnızca Alibaba Cloud hesabı veya RAM rolü kimlik doğrulamasını destekler.
Alibaba Cloud Account	Bu çalışma alanıyla yalnızca Current Alibaba Cloud Account altındaki MaxCompute projeleri ilişkilendirilebilir.
MaxCompute Project Name	İlişkilendirilecek MaxCompute projesini seçin. Kullanılabilir proje yoksa MaxCompute projesi oluşturun. Not Standart modda, üretim ve geliştirme ortamları için ayrı MaxCompute projeleri seçin. MaxCompute faturalandırılabilir öğeler ve faturalandırma yöntemleri. Hedef proje listelenmiyorsa, mevcut hesaba proje için Super_Administrator rolünü verin.
Region	MaxCompute proje bölgesi. Çalışma alanı bölgesiyle eşleşmelidir.
Default Access Identity	Bu çalışma alanından hesaplama kaynağına erişmek için kullanılan kimlik. Geliştirme ortamı: Yalnızca Executor kimliği desteklenir. Üretim ortamı: Alibaba Cloud hesapları, RAM kullanıcıları ve RAM rolleri desteklenir. Not Tüm erişim kimliklerini yalnızca bir Alibaba Cloud hesabı veya AdministratorAccess yetkisine sahip bir ana kullanıcı seçebilir. Üretim ortamı için Security Center tüm üretim verilerine sahiptir. Diğer hesapların Security Center üzerinden erişim talep etmesi gerekir. MaxCompute veri erişim kontrolü ve Approval Center.
Endpoint	MaxCompute projesine erişim için uç nokta; hizmet uç noktası ve veri aktarımı için Tunnel uç noktasını içerir. Auto Fit: DataWorks yapılandırmalarınıza otomatik olarak uyum sağlar. Önerilir. Custom Configuration: MaxCompute ve Tunnel uç noktalarını manuel olarak yapılandırın; bu uç noktalar bölgeye göre değişir.

Bağlantıyı test edin.

MaxCompute görevlerini çalıştırmak için kaynak grubunu seçin ve erişimi doğrulamak amacıyla Test Connectivity düğmesini tıklayın. Ağ bağlantısı çözümleri.

Not
Kullanılabilir kaynak grubu yoksa öncelikle sunucusuz kaynak grubu ekleyip ilişkilendirin, ardından Computing Resources sayfasında bağlantı testi yapın.
İlişkilendirmeyi tamamlamak için Create and Associate Computing Resource with DataStudio düğmesini tıklayın.
Not
- İlişkilendirmeden sonra Data Sources sayfasında aynı ada sahip bir MaxCompute veri kaynağı otomatik olarak oluşturulur.
- İlişkilendirmeden sonra platform, gerekli izinlerle erişim kimliğini MaxCompute projesine ekleyerek yetkilendirir. Yetkilendirme tamamlanana kadar bağlantı testi izin hatasıyla başarısız olabilir. Bu durumda kaynağı kaydedin ve birkaç dakika sonra yeniden deneyin.

İlişkilendirilmiş MaxCompute hesaplama kaynağını değiştirme

İlişkilendirilmiş MaxCompute hesaplama kaynağını değiştirmek (örneğin, ilişkili projeyi değiştirmek, bağlamaları güncellemek veya yapılandırmayı düzenlemek) için Data Studio içindeki Computing Resources listesini açın, hedef hesaplama kaynağını bulun ve Edit seçeneğini tıklayın.

Düzenleme sayfasında ilişkili MaxCompute projesini, varsayılan erişim kimliğini, Endpoint değerini ve diğer yapılandırmaları değiştirebilirsiniz.

Sonraki adımlar

İlişkilendirmeden sonra DataWorks, çalışma alanında otomatik olarak bir MaxCompute veri kaynağı oluşturur. Bu kaynağı Data Integration işlemlerinde ve veritabanı düğümünde (Yeni Data Studio) veya veritabanı düğümünde (Eski Data Studio) kullanabilirsiniz.

SSS

Sorun: MaxCompute hesaplama kaynağında görev çalıştırırken connect timed out, the possible reason is that the endpoint hatası oluşuyor.

Çözüm: Uç nokta yapılandırmasını doğrulayın. Kaynağın bölgesi için VPC uç noktasını kullanın.
Sorun: Bağlantı testi sırasında You have NO privilege 'odps:Read' on {acs:odps:*:projects/xxx} hatası oluşuyor.

Çözüm: MaxCompute projesinin durumunu kontrol edin. Proje frozen veya askıya alınmış durumdaysa MaxCompute konsolunda Restore işlemiyle geri yükleyin.
Sorun: DataWorks, farklı Alibaba Cloud hesaplarına ait MaxCompute projelerini ilişkilendirmeyi veya SQL kullanarak hesaplar arası veri sorgulamayı destekliyor mu?

Çözüm: Hayır. MaxCompute hesaplama kaynağını DataWorks ile ilişkilendirirken yalnızca DataWorks çalışma alanınızla aynı Alibaba Cloud hesabına ait olan MaxCompute projelerini ilişkilendirebilirsiniz. Benzer şekilde, Data Studio'da SQL sorguları çalıştırırken kullandığınız hesaplama motoru da aynı hesaba ait olmalıdır. SQL aracılığıyla doğrudan hesaplar arası MaxCompute verilerine erişim desteklenmez. Hesaplar arası veri erişimi gerekiyorsa bunun yerine Data Integration veya benzeri bir yaklaşım kullanın.
Sorun: MaxCompute hesaplama kaynağı zaten ilişkilendirilmiş ancak görev yayınlarken veya kaynak oluştururken DataWorks hâlâ "No compute resource is associated", "The ODPS information cannot be found" uyarısı veriyor veya seçenek gri görünüyor. Ne yapmalıyım?

Çözüm: Bu sorun genellikle aşağıdaki nedenlerden kaynaklanır. Sırayla kontrol edin:
1. Sistem gecikmesi: İlişkilendirme tamamlandıktan sonra platformun erişim kimliğini yetkilendirmesi zaman alır. Bu durum kısa süreli bir gecikmeye neden olabilir. Birkaç dakika bekleyip sayfayı yenileyerek tekrar deneyin.
2. Yetersiz izinler: Oturum açılan hesabın hedef MaxCompute projesi üzerinde Super_Administrator iznine sahip olduğundan emin olun. Eksik izinler, ilişkilendirme durumunun anormal veya ilişkisiz görünmesine neden olabilir.
3. Hatalı ilişkilendirme yapılandırması: İlişkilendirilen MaxCompute proje adı ve bölgesinin doğru olup olmadığını kontrol edin; bunların DataWorks çalışma alanının bölgesi ve Alibaba Cloud hesabıyla eşleştiğinden emin olun.
4. Manuel ilişkilendirme yapılmaması: MaxCompute tarafında MaxCompute motorunu etkinleştirmek tek başına ilişkilendirmeyi tamamlamaz. Computing Resources sayfasında Management Center bölümünden hesaplama kaynağını manuel olarak ilişkilendirmeniz gerekir.
5. Bağlantı sorunu: Geliştirme ortamındaki MaxCompute veri kaynağı için Test Connectivity işlemini tıklayın. Bağlantı testi başarısız olursa ağ ve Endpoint yapılandırmasını kontrol edin.
Sorun: MaxCompute hesaplama kaynağını ilişkilendirirken DataWorks "The project already exists" uyarısı veriyor. Ne yapmalıyım?

Çözüm: Bir MaxCompute projesi yalnızca bir DataWorks çalışma alanına hesaplama kaynağı olarak ilişkilendirilebilir. Bu hata, söz konusu MaxCompute projesi ve Endpoint kombinasyonu için DataWorks'te zaten bir ilişkilendirme kaydı bulunduğunu gösterir. Sorunu çözmek için:
1. Her çalışma alanının Computing Resources listesini kontrol ederek hesaplama kaynağının zaten var olup olmadığını doğrulayın. Kaynak zaten varsa yeniden ilişkilendirmenize gerek yoktur. Data Studio'da görev oluştururken bu hesaplama motorunu doğrudan seçebilirsiniz.
2. Yapılandırmayı güncellemek istiyorsanız önce mevcut ilişkilendirme kaydını silin (veya tarayıcı önbelleğini temizleyip tekrar deneyin), ardından hesaplama kaynağını yeniden ilişkilendirin.
Sorun: MaxCompute hesaplama kaynağını çalışma alanından ayırıp yeniden ilişkilendirdikten sonra, ayırmadan önce oluşturulmuş mevcut bir Data Integration (DI) görevi salt okunur modda açılıyor veya hata döndürüyor. Ne yapmalıyım?

Çözüm: MaxCompute hesaplama kaynağını ayırıp yeniden ilişkilendirmek, aynı MaxCompute projesini ilişkilendirseniz bile ayırmadan önce oluşturulan DI görevlerinin meta verilerini bozar. Tipik belirtiler şunlardır:
- Eski görevi açtığınızda DataWorks, kaynak veri kaynağı için bağlantı sorunu bildirir ve görev sayfası salt okunur moda geçerek düzenlenemez hale gelir.
- Tarayıcı konsolu null pointer hatası döndürür. Tam mesaj ürün sürümüne göre değişir; örneğin Cannot read properties of undefined (reading 'type').
- Field Mapping bölümü alan bilgilerinin getirildiğini gösterir ve yükleme asla tamamlanmaz.
Eski görevde Clone işlemini kullanmak düzenleme özelliğini geri kazandırmaz çünkü klonlanan görev de salt okunur modda açılır. Sorunu çözmek için eski görevin yerine aynı yapılandırmaya sahip yeni bir DI görevi oluşturun ve ardından Operation Center bölümüne giderek eski görevin dağıtımının kaldırıldığını doğrulayın; böylece hem eski hem de yeni görev aynı anda zamanlanmamış olur.