MaxCompute:Hızlı başlangıç

Önkoşullar

Başlamadan önce aşağıdaki gereksinimlerin karşılandığından emin olun:

• MaxCompute istemcisi yüklü ve yapılandırılmış olmalıdır. Daha fazla bilgi için bkz. MaxCompute istemcisini yükleme ve yapılandırma.

• MaxCompute Studio yüklü olmalı ve bir MaxCompute projesine bağlı olmalıdır. Daha fazla bilgi için bkz. MaxCompute Studio'yu yükleme ve Proje bağlantılarını yönetme.

• Yerel makinenizde kaydedilmiş bir kaynak veri dosyanız bulunmalıdır.

  Bu konuda, içeriği hello,odps olan data.txt adlı örnek bir dosya kullanılmaktadır. Dosya, MaxCompute istemcisindeki bin dizininde kaydedilir.

Kullanım notları

<dependency>
    <groupId>com.aliyun.odps</groupId>
    <artifactId>odps-sdk-mapred</artifactId>
    <version>0.36.4-public</version>
</dependency>
<dependency>
    <groupId>com.aliyun.odps</groupId>
    <artifactId>odps-sdk-commons</artifactId>
    <version>0.36.4-public</version>
</dependency>
<dependency>
    <groupId>com.aliyun.odps</groupId>
    <artifactId>odps-sdk-core</artifactId>
    <version>0.36.4-public</version>
</dependency>

Yordam

1. Adım 1: Bir MapReduce programı geliştirme

   MaxCompute Studio'da bir MapReduce programı yazın, çalıştırın ve hata ayıklayın.

2. Adım 2: Bir MapReduce JAR dosyası oluşturma ve yükleme

   Derlenen WordCount.java betiğini bir JAR dosyasına paketleyin ve bunu MaxCompute projesine yükleyin.

3. Adım 3: MapReduce işini çalıştırma

   MaxCompute projesine yüklenen JAR dosyasıyla birlikte jar komutunu kullanarak MapReduce işini çalıştırın.

Adım 1: Bir MapReduce programı geliştirme

1. Bir MaxCompute Java modülü oluşturun.

   1. IntelliJ IDEA'yı başlatın. Menü çubuğunda File > New > Module... seçeneklerini seçin.

   2. New Module iletişim kutusunun sol gezinme bölmesinde MaxCompute Java seçeneğini belirleyin.

   3. Module SDK öğesini yapılandırın ve Next düğmesine tıklayın.

   4. Bir Module name girin (örneğin mapreduce) ve Finish düğmesine tıklayın.

2. WordCount MapReduce programını yazın, çalıştırın ve hata ayıklayın.

   1. Project bölmesinde modülün kaynak kodu dizinine src > main > java sağ tıklayın ve New > MaxCompute Java seçeneklerini seçin.

   2. Create new MaxCompute java class iletişim kutusunda Driver seçeneğine tıklayın, bir Name girin (örneğin WordCount) ve Enter tuşuna basın.

   3. Yeni oluşturulan WordCount.java dosyasında WordCount MapReduce programını yazın.

      Tam WordCount örnek kodu için bkz. Kod örneği.

   4. Sol gezinme bölmesinde WordCount.java betiğine sağ tıklayın ve Run seçeneğini belirleyin.

   5. Run/Debug Configurations iletişim kutusunda MaxCompute project ayarlarını yapılandırın.

      MaxCompute project ayarı için http://service.cn-hangzhou.maxcompute.aliyun.com/api gibi bir Endpoint seçin ve ardından hedef projenizi seçin (örneğin doc_test_dev).

   6. OK düğmesine tıklayın. WordCount.java betiğini çalıştırın ve derlemenin başarılı olduğunu doğrulamak için hata ayıklayın.

Adım 2: Bir MapReduce JAR dosyası oluşturma ve yükleme

1. IntelliJ IDEA'nın sol gezinme bölmesinde WordCount.java betiğine sağ tıklayın ve Deploy to server... seçeneğini belirleyin.

2. Package a jar and submit resource iletişim kutusunda parametreleri yapılandırın ve OK düğmesine tıklayın.

   Hedef MaxCompute project öğesini seçin. Resource file alanında paketlenmiş JAR dosyasının yolu görüntülenir. Bir Resource name girin (örneğin mapreduce-1.0-SNAPSHOT.jar). İsteğe bağlı olarak Resource comment alanına bir açıklama ekleyin. Aynı ada sahip mevcut bir kaynağın üzerine yazmak için Force update if already exists seçeneğini işaretleyin.

   Parametreler hakkında daha fazla bilgi için bkz. Yordam.

   Not

   MapReduce programını geliştirmek için Maven kullanıyorsanız, programı bir JAR dosyasına paketledikten sonra bunu MaxCompute istemcisini kullanarak MaxCompute projesine manuel olarak yüklemeniz gerekir. Daha fazla bilgi için bkz. Kaynak ekleme. Örnek:

   add jar mapreduce-1.0-SNAPSHOT.jar;

Adım 3: MapReduce işini çalıştırma

1. MaxCompute istemcisinde oturum açma veya MaxCompute Studio'da MaxCompute istemcisini açın.

   MaxCompute istemcisi, MaxCompute Studio ile tümleşiktir; bu nedenle doğrudan IDE üzerinden çalıştırabilirsiniz. Daha fazla bilgi için bkz. MaxCompute istemcisini tümleştirme.

2. Bir giriş tablosu ve bir çıkış tablosu oluşturun.

   MapReduce işi, verileri giriş tablosundan okur ve sonuçları çıkış tablosuna yazar. Örnek:

   -- Create the input table wc_in.
   create table wc_in (key STRING, value STRING);
   -- Create the output table wc_out.
   create table wc_out (key STRING, cnt BIGINT);

   Tablo oluşturma söz dizimi hakkında daha fazla bilgi için bkz. Tablo oluşturma.

3. Verileri wc_in tablosuna eklemek için Tunnel Upload komutunu kullanın.

   Örnek:

   tunnel upload data.txt wc_in;

   Tunnel hakkında daha fazla bilgi için bkz. Tunnel.

4. Oluşturulan JAR dosyasıyla MapReduce işini çalıştırmak için jar komutunu kullanın.

   Örnek:

   jar -resources mapreduce-1.0-SNAPSHOT.jar -classpath mapreduce-1.0-SNAPSHOT.jar com.aliyun.odps.mapred.open.example.WordCount wc_in wc_out;

   • -resources mapreduce-1.0-SNAPSHOT.jar: MapReduce işi tarafından kullanılan kaynağı belirtir. Bu örnekte kaynak, Adım 2 bölümünde yüklenen mapreduce-1.0-SNAPSHOT.jar dosyasıdır.

   • -classpath mapreduce-1.0-SNAPSHOT.jar : MainClass'ı içeren JAR dosyasının yerel yolunu belirtir.

   • com.aliyun.odps.mapred.open.example.WordCount: MapReduce programının MainClass'ı.

   • wc_in wc_out: Giriş tablosu ve çıkış tablosu.

   jar komutu hakkında daha fazla bilgi için bkz. Söz dizimi.

5. wc_out tablosundaki verileri görüntülemek için aşağıdaki komutu çalıştırın.

   select * from wc_out;

   Beklenen çıktı:

   +------------+------------+
   | key        | cnt        |
   +------------+------------+
   | hello      | 1          |
   | odps       | 1          |
   +------------+------------+