MaxCompute:Query Acceleration MaxQA

Bölge bazında kullanılabilirlik zaman çizelgesi

Notlar

Yeni oluşturulan etkileşimli kota grupları varsayılan olarak MaxQA modunda gelir. Mevcut MaxQA yapılandırmaları bundan etkilenmez.

MaxQA örneği oluşturma

MaxQA yalnızca abonelik faturalama yöntemini kullanan MaxCompute projeleri için kullanılabilir. Bir MaxQA örneği oluşturmak için:

1. MaxCompute konsolu üzerinde oturum açın ve sol üst köşeden bir bölge seçin.

2. Sol gezinme bölmesinde Manage Configurations > Quotas yolunu izleyin.

3. Quotas sayfasında, hedef kotasının Actions sütununda bulunan Quota Configuration seçeneğine tıklayın.

4. Temel yapılandırma

   1. Quota Configuration sayfasında Basic Configurations sekmesini seçin ve Edit Basic Configurations öğesine tıklayın.

   2. Add Level-2 Quota seçeneğine tıklayın, bir Quota Name girin ve Type alanında Interactive değerini seçin.

      • MaxQA kullanırken bir Quota Name belirtmeniz gerekir. Birden fazla örneği ayırt etmek için iş niteliklerinizle ilişkili bir ad kullanmanızı öneririz.

      • Interactive kotaları, yalnızca sorgu hızlandırma (MaxQA) işlerini çalıştırmak için ayrılmıştır.

5. OK seçeneğine tıklayın.

Örneği oluşturduktan sonra ilgili etkileşimli kota grubunun durumu Starting olarak değişir. Durumun Running haline gelmesi için 5 ila 8 dakika bekleyin. Bu süre sonunda örneği kullanmaya başlayabilirsiniz.

MaxQA örneğini silme

1. Quotas sayfasında, hedef kotasının Actions sütununda bulunan Quota Configuration seçeneğine tıklayın.

2. Quota Configuration sayfasında Basic Configurations sekmesini seçin. Ardından hedef etkileşimli kotasının Actions sütununda bulunan Delete seçeneğine tıklayın.

Silme işlemi arka planda yürütülür. Sayfada durum güncellemeleri veya silme ilerlemesi görüntülenmez.

MaxQA örneğini ölçeklendirme

İş ihtiyaçlarınıza göre bir etkileşimli kota grubunu yatay olarak genişletebilir veya daraltabilirsiniz:

1. Quotas sayfasında, hedef kotasının Actions sütununda bulunan Quota Configuration seçeneğine tıklayın.

2. Quota Configuration sayfasında Basic Configurations sekmesini seçin ve Edit Basic Configurations seçeneğine tıklayın.

3. Add Level-2 Quota seçeneğine tıklayın ve ölçeğini değiştirmek istediğiniz etkileşimli kota grubunun Reserved CUs [minCU,maxCU] değerini ayarlayın. Daha büyük bir değer ölçek büyütme, daha küçük bir değer ise ölçek küçültme anlamına gelir.

   Not

   • CU'lar için minimum artış miktarı 25'tir.

   • Minimum CU değeri en az 25 olmalıdır. Kararlılık açısından minimum CU değerini 50 veya üzeri ayarlamanız önerilir. Etkileşimli kaynaklara ihtiyaç duyulmuyorsa değeri 0 olarak ayarlayın veya kota grubunu silin.

   • Etkileşimli kota sınırlamaları:

     • Etkileşimli kotalar için Elastically Reserved CUs desteklenmez.

     • Sorgu hızlandırmanın performansını ve kararlılığını sağlamak için etkileşimli bir kotada minimum CU değerini maksimum CU değerine eşit olarak ayarlayın.

4. OK seçeneğine tıklayın.

   Etkileşimli kota grubu için ayrılmış CU'ların ayarlanması başlatılır.

Etkileşimli kota grubu için Actions sütununda Scaling Out veya Scaling In durumu görünür. Ölçek büyütme işlemi yaklaşık 5 ila 8 dakika sürer. Ölçek küçültme işlemi ise çalışan işlerin tamamlanma durumuna bağlı olarak daha uzun sürebilir. En kötü durumda sistem, kaldırılan makinelerdeki işlerin zaman aşımına uğramasını beklemek zorunda kalabilir ve ölçek küçültme işlemi ancak bu süreçten sonra başlar. Ölçeklendirme işlemleri sırasında mevcut işleriniz etkilenmez.

MaxQA için zamana dayalı ölçeklendirmeyi yapılandırma

Zamanlanmış ölçeklendirme için bir zamana dayalı ölçeklendirme planı yapılandırabilirsiniz:

1. Quotas sayfasında, hedef kotasının Actions sütununda bulunan Quota Configuration seçeneğine tıklayın.

2. Quota Configuration sayfasında Scaling Configuration sekmesini seçin.

3. Zamana dayalı ölçeklendirme planı yapılandırma

   1. Scaling Configuration sekmesinde Add Configuration Plan seçeneğine tıklayın. Açılan Add Configuration Plan iletişim kutusunda bir Configuration Plan Name girin ve ikinci seviye kota için Reserved CUs [minCU,maxCU] değerlerini yapılandırın.

   2. Mevcut bir yapılandırma planını değiştirmek için:

      Scaling Configuration sekmesinde, hedef planın Edit sütununda bulunan Actions seçeneğine tıklayarak planı güncelleyin.

4. Zamana dayalı zamanlama yapılandırma

   1. Scaling Configuration sekmesinde, Scheduled Scaling Management bölümünde bulunan Edit Time Plan seçeneğine tıklayın.

   2. Add Effective Period seçeneğine tıklayın. Ardından bir Effective start time ve bir Configuration Plan seçin.

      Bu yapılandırma sayesinde günün farklı saatlerinde farklı kota yapılandırma planlarını etkinleştirebilirsiniz. Daha fazla bilgi için bkz. Hesaplama kaynaklarını ve kotaları yönetme.

Zamanlama ilkesi

Bir iş gönderdiğinizde istemcide veya JDBC bağlantı dizesinde etkileşimli kota grubunun adını belirtin. İş ardından ilgili MaxQA örneğinde çalıştırılmak üzere zamanlanır.

Geri dönüş ilkesi

MaxQA geri dönüş ilkesini destekler. Etkinleştirildiğinde, sistem istisnaları nedeniyle başarısız olan MaxQA görevleri otomatik olarak toplu iş moduna geri döner. Geri dönüş ilkesini aşağıdaki yollarla etkinleştirebilirsiniz:

• JDBC (sürüm 3,10,7 veya üzeri): Geri dönüş varsayılan olarak etkindir. Devre dışı bırakmak için disableFallback parametresini ayarlayın ve hedef kotayı belirtmek için fallbackQuota parametresini kullanın.

• Java SDK: MaxQAConnInfo.builder().fallbackInfo(FallbackInfo.enable("<offline_quota>")).build()

• DataWorks: DataStudio'nun zamanlama ayarlarında geri dönüş kurallarını yapılandırın. Daha fazla bilgi için bkz. DataWorks DataStudio kullanma.

MaxQA'ya aşağıdaki yöntemlerle erişebilirsiniz:

• MaxCompute istemcisi

• DataWorks: anlık sorgular veya DataStudio

• MaxCompute konsolu: SQL Analizi

• MaxCompute Studio

• JDBC

• BI araçları

• Java SDK

• Python SDK

MaxCompute istemcisini kullanma

1. MaxCompute istemcisini (odpscmd) v0,51,1 veya üzeri bir sürümü yükleyin ve yapılandırın. Daha fazla bilgi için bkz. Yerel istemci (odpscmd) kullanarak bağlanma.

2. İstemci kurulumundaki conf dizininde odps_config.ini dosyasını düzenleyin ve son satıra aşağıdaki komutu ekleyin.

   -- Enable MaxQA connection information caching.
   enable_interactive_mode=true
   enable_quota_cache=true(Optional) 

3. MaxCompute istemcisini başlatmak için bin dizinindeki betik dosyasını çalıştırın.

   Önemli

   • Linux/macOS sistemler: odpscmd betik dosyasını çalıştırın.

   • Windows: odpscmd.bat dosyasına çift tıklayın.

4. Bir iş çalıştırmadan önce aşağıdaki komutu yürütün. Bundan sonra istemciden gönderilen tüm işler, ilgili etkileşimli kota grubunda MaxQA modunda çalışacaktır.

   USE QUOTA <name_of_the_interactive_quota_group>;

DataWorks DataStudio kullanma

1. DataWorks konsolu üzerinde oturum açın ve sol üst köşeden bir bölge seçin.

2. Soldaki gezinme bölmesinde Data Development and O&M > Data Development yolunu izleyin.

3. Select Workspace seçeneğini belirleyin ve Go to Data Studio seçeneğine tıklayın.

4. Veri Geliştirme sayfasında sağ taraftaki Run Configuration seçeneğine tıklayın .

5. Hata Ayıklama Yapılandırmaları sayfasında Hesaplama Kaynağı olarak bu çalışma alanına bağlı MaxCompute projesi kaynağını seçin. Her senaryo için hesaplama kotasının nasıl seçileceği aşağıdaki tabloda açıklanmıştır:

   Not

   • Çalıştırma ortamı: İşler veri analizi veya veri geliştirme modülünde çalışır. Etkileşimden çevrimdışı moda geri dönüş uygulanmaz.

   • Geri dönüş çalıştırma ortamı: İşler zamanlama modülünde çalışır. Etkileşimli mod belirtilirse, etkileşimli mod başarısız olduğunda çevrimdışı moda geri dönüş de yapılandırılabilir.

   Hesaplama Kotası Seçimi	Belirtilen Kota / Yönlendirme Kuralı	Beklenen Çalıştırma Modu	Zamanlama Yapılandırması ve Beklenen Geri Dönüş
   Proje varsayılan kotası	Bir çevrimdışı yönlendirme kuralı varsa kural geçerli olur. Etkileşimli yönlendirme kuralları uygulanmaz.	Proje varsayılan kotası bir çevrimdışı kotadır. İşler çevrimdışı kotada çalışır.	İşler çevrimdışı kotada çalışır. Geri dönüş uygulanmaz.
   Belirtilen kota	Bir çevrimdışı kota seçin.	İşler çevrimdışı kotada çalışır.	İşler çevrimdışı kotada çalışır. Geri dönüş uygulanmaz.
   Belirtilen kota	Bir etkileşimli kota seçin.	İşler, etkileşimli kota grubuna karşılık gelen MaxQA örneğinde çalışır.	Zamanlama Yapılandırmasında: geri dönüş devre dışı bırakılırsa geri dönüş denenmez; proje varsayılan kotası seçilirse geri dönüş için proje varsayılan kotası kullanılır (geri dönüşte çevrimdışı yönlendirme kuralları uygulanmaz); belirli bir kota seçilirse belirtilen çevrimdışı kota geri dönüş için kullanılır.
   Etkileşimli mod yönlendirme kuralı	Yalnızca çevrimdışı yönlendirme kuralları mevcuttur. Eşleşen bir etkileşimli yönlendirme kuralı bulunamadı.	Bir hata bildirilir: Cannot find MCQA quota to start connection on project *****. Oluşturmak için bkz. Hesaplama kaynakları için kota kullanma.	Geri dönüş devre dışı bırakılırsa geri dönüş denenmez; proje varsayılan kotası seçilirse geri dönüş için proje varsayılan kotası kullanılır; belirli bir kota seçilirse belirtilen çevrimdışı kota geri dönüş için kullanılır.
   Etkileşimli mod yönlendirme kuralı	Eşleşen bir etkileşimli yönlendirme kuralı mevcuttur.	İşler, etkileşimli kota grubuna karşılık gelen MaxQA örneğinde çalışır.

6. Yapılandırma tamamlandıktan sonra SQL düğümündeki işler, etkileşimli kota grubuna karşılık gelen MaxQA örneğinde zamanlanır.

Daha fazla bilgi için bkz. DataWorks'te MaxCompute SQL düğümü oluşturma.

Konsolda SQL Analizi kullanma

1. MaxCompute konsolu üzerinde oturum açın ve sol üst köşeden bir bölge seçin.

2. Sol gezinme bölmesinde Data Exploration > SQL Analysis yolunu izleyin.

3. SQL editörüne SQL ifadelerini girdikten sonra sağ taraftaki Run Configurations seçeneğine tıklayarak Project ve Computing Quota alanlarını yapılandırın.

4. Etkileşimli kota grubuna karşılık gelen hesaplama kaynaklarını seçin.

5. Yapılandırma tamamlandıktan sonra SQL Analizi sayfasındaki işler, etkileşimli kota grubuna karşılık gelen MaxQA örneğinde zamanlanır.

Daha fazla bilgi için bkz. SQL Analizi.

MaxCompute Studio kullanma

MaxCompute Studio'yu yüklediğinizden ve MaxCompute projenize bağladığınızdan emin olun. MaxQA'yı kullanmak için bir betik çalıştırın:

1. MaxCompute Studio v4,3,2 veya üzeri bir sürümü yükleyin ve yapılandırın. Daha fazla bilgi için bkz. MaxCompute Studio yükleme.

2. Bir MaxCompute Studio projesi oluşturun ve MaxCompute projenize bağlayın. Daha fazla bilgi için bkz. Proje bağlantılarını yönetme.

3. Projede bir MaxCompute SQL betiği oluşturun. Daha fazla bilgi için bkz. SQL betiği geliştirme ve gönderme.

4. MaxCompute SQL betiğine SQL ifadelerini girin. Execution Mode açılır listesinden MaxQA'yı seçin.

5. Ek parametreleri belirt düğmesine tıklayın, etkileşimli kota grubu adını girin ve Tamam'a tıklayın.

6. Betik dosyasını çalıştırın. Artık iş MaxQA sorgu hızlandırma özelliğini kullanacaktır.

JDBC kullanma

JDBC kullanarak MaxCompute'a bağlanırken MaxQA'yı etkinleştirmek için: JDBC bağlantıları hakkında daha fazla bilgi için bkz. Kullanıcı kılavuzu.

1. MaxQA desteği içeren kaynak kodunu indirin.

2. Maven'da POM bağımlılığını yapılandırın.

   <dependency>
      <groupId>com.aliyun.odps</groupId>
      <artifactId>odps-jdbc</artifactId>
      <version>${Latest Version}</version>
   </dependency>

   Önemli

   Yukarıdaki kodda Latest Version bir yer tutucudur. Projeyi başarıyla derlemek için bunu belirli bir SDK sürüm numarasıyla değiştirin. Yayınlanan tüm odps-jdbc sürümlerini görüntülemek için GitHub Releases adresini ziyaret edin. En son sürümü kullanmanız önerilir. Sürüm numarası formatı X.X.X şeklindedir.

3. Kaynak kodundan ortamınıza uygun bir Java programı oluşturun. Daha fazla bilgi için bkz. MaxCompute JDBC. Aşağıdaki kod bir örnek sağlar.

   import java.sql.Connection;
   import java.sql.DatabaseMetaData;
   import java.sql.DriverManager;
   import java.sql.ResultSet;
   import java.sql.SQLException;
   import java.sql.Statement;
   public class MaxCompute {
       private static final String DRIVER_NAME = "com.aliyun.odps.jdbc.OdpsDriver";
       // An AccessKey ID of an Alibaba Cloud account has permissions to call all API operations. This is a high-risk operation. We recommend that you create and use a RAM user to call API operations or perform routine O&M. To create a RAM user, log on to the RAM console.
       // In this example, the AccessKey ID and AccessKey Secret are stored in environment variables. You can also store them in a configuration file based on your business needs.
       // We strongly recommend that you do not hard-code the AccessKey ID and AccessKey Secret in your code. This poses a security risk.
       private static String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
       private static String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
       public static void main(String[] args) throws SQLException {
           try {
               Class.forName(DRIVER_NAME);
           } catch (ClassNotFoundException e) {
               e.printStackTrace();
               System.exit(1);
           }
           Connection conn = DriverManager.getConnection(
                   "jdbc:odps:https://service.cn-hangzhou.maxcompute.aliyun.com/api?project=maxqatomax&charset=UTF-8&interactiveMode=true&quotaName=maxfor1&autoSelectLimit=1000000000",
                   MaxCompute.accessId, MaxCompute.accessKey);
           // create a table
           Statement stmt = conn.createStatement();
           final String tableName = "jdbc_test11";
           stmt.execute("DROP TABLE IF EXISTS " + tableName);
           stmt.execute("CREATE TABLE " + tableName + " (key BIGINT, value STRING)");
           // get meta data
           DatabaseMetaData metaData = conn.getMetaData();
           System.out.println("product = " + metaData.getDatabaseProductName());
           System.out.println("jdbc version = "
                   + metaData.getDriverMajorVersion() + ", "
                   + metaData.getDriverMinorVersion());
           ResultSet tables = metaData.getTables(null, "default", tableName, null);
           while (tables.next()) {
               String name = tables.getString("TABLE_NAME");
               System.out.println("inspecting table: " + name);
               ResultSet columns = metaData.getColumns(null, null, name, null);
               while (columns.next()) {
                   System.out.println(
                           columns.getString("COLUMN_NAME") + "\t" +
                                   columns.getString("TYPE_NAME") + "(" +
                                   columns.getInt("DATA_TYPE") + ")");
               }
               columns.close();
           }
           tables.close();
           stmt.close();
           conn.close();
       }
   }

Aşağıdaki kod bir JDBC bağlantı dizesi göstermektedir.

// your_quota_group_name is the name of the interactive quota group that you want to use.
jdbc:odps:<MaxCompute_endpoint>?
project=<MaxCompute_project_name>&interactiveMode=true&quotaName=your_quota_group_name&enableLimit=false&enableOdpsLogger=true

BI araçlarını kullanma

Tableau, Quick BI, Guandata BI ve SQL Workbench/J gibi BI araçlarını kullanarak MaxQA'ya bağlanabilirsiniz.

Java SDK kullanma

Java SDK hakkında daha fazla bilgi için bkz. Java SDK tanıtımı.

1. Maven'da POM bağımlılığını yapılandırın. Aşağıdaki kod bir örnek sağlar.

   <dependency>
     <groupId>com.aliyun.odps</groupId>
     <artifactId>odps-sdk-core</artifactId>
     <version>${Latest Version}</version>
   </dependency>

   Önemli

   Yukarıdaki kodda Latest Version bir yer tutucudur. Projeyi başarıyla derlemek için bunu belirli bir SDK sürüm numarasıyla değiştirmeniz gerekir. Yayınlanan tüm odps-sdk-core sürümlerini görüntülemek için GitHub Releases adresini ziyaret edin. En son sürümü kullanmanız önerilir. Sürüm numarası formatı X.X.X-public şeklindedir.

2. Bir Java programı oluşturun. Aşağıdaki kod bir örnek sağlar.

   import com.aliyun.odps.Odps;
   import com.aliyun.odps.OdpsException;
   import com.aliyun.odps.account.Account;
   import com.aliyun.odps.account.AliyunAccount;
   import com.aliyun.odps.sqa.ExecuteMode;
   import com.aliyun.odps.sqa.SQLExecutor;
   import com.aliyun.odps.sqa.SQLExecutorBuilder;
   import java.util.HashMap;
   import java.util.Map;
   public class MaxCompute {
       public static void main(String args[]) {
           // Set the account and project information.
           // An AccessKey ID of an Alibaba Cloud account has permissions to call all API operations. This is a high-risk operation. We recommend that you create and use a RAM user to call API operations or perform routine O&M. To create a RAM user, log on to the RAM console.
           // In this example, the AccessKey ID and AccessKey Secret are stored in environment variables. You can also store them in a configuration file based on your business needs.
           // We strongly recommend that you do not hard-code the AccessKey ID and AccessKey Secret in your code. This poses a security risk.
           Account account = new AliyunAccount(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"),
                           System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
           Odps odps = new Odps(account);
           odps.setDefaultProject("maxqatomax");
           odps.setEndpoint("https://service.cn-hangzhou.maxcompute.aliyun.com/api");
           // Prepare to build the SQLExecutor.
           SQLExecutorBuilder builder = SQLExecutorBuilder.builder();
           SQLExecutor sqlExecutor = null;
           try {
               // Create an executor that uses MaxQA mode by default.
               // enableMcqaV2(true) enables MaxQA mode
               sqlExecutor = builder.odps(odps)
                       .executeMode(ExecuteMode.INTERACTIVE)
                       .quotaName("maxfor1")
                       .enableMcqaV2(true)
                       .build();
               // If needed, you can pass custom settings for the query.
               Map<String, String> queryHint = new HashMap<>();
               queryHint.put("odps.sql.mapper.split.size", "128");
               // Submit a query job. You can pass hints.
               sqlExecutor.run("select count(1) from test_table;", queryHint);
               // The Logview of the current query job.
               System.out.println("Logview:" + sqlExecutor.getLogView());
               // The instance ID of the current query job.
               System.out.println("InstanceId:" + sqlExecutor.getQueryId());
           } catch (OdpsException e) {
               e.printStackTrace();
           } finally {
               if (sqlExecutor != null) {
                   // Close the executor to release resources.
                   sqlExecutor.close();
               }
           }
       }
   }

PyODPS kullanma

PyODPS v0,12,1 ve üzeri sürümler MaxQA'yı destekler. Aşağıdaki kod bir örnek sağlar.

import os
from odps import ODPS
# Set the account and project information.
# Make sure that the ALIBABA_CLOUD_ACCESS_KEY_ID and ALIBABA_CLOUD_ACCESS_KEY_SECRET 
# environment variables are set to your AccessKey ID and AccessKey Secret.
# We do not recommend that you use the AccessKey ID and AccessKey Secret strings directly.
o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='maxto****',
    endpoint='https://service.cn-hangzhou.maxcompute.aliyun.com/api',
)
# If needed, you can pass custom settings for the query.
hints = {"odps.sql.mapper.split.size": "128"}
inst = o.execute_sql_interactive(
    'select count(1) from test_table',
    use_mcqa_v2=True,
    quota_name='maxfor1',
    # Set quota_name to the name of the interactive quota group for the MaxQA instance.
    hints=hints,
)
# The Logview of the current query job.
print(inst.get_logview_address())
# The instance ID of the current query job.
print(inst.id)
# Read data row by row.
with inst.open_reader() as reader:
    result = [res.values for res in reader]

odps://<access_id>:<ACCESS_KEY>@<project>/?endpoint=<endpoint>&quota_name=<YOUR_INTERACTIVE_QUOTA_GROUP_NAME>&interactive_mode=v2&reuse_odps=true

Logview sayfasından

Bir iş tamamlandıktan sonra MaxQA modunda çalıştığını doğrulamak için Logview sayfasına gidin. Aşağıdakileri kontrol edin:

• MaxCompute InstanceId değeri _mcqa ile biter.

• Kota takma adı, belirtilen etkileşimli kotanın adıdır.

• Summary sekmesinde iş çalıştırma modu mcqa 2.0 olarak görünür.

Job O&M sayfasından

1. MaxCompute konsolu üzerinde oturum açın ve sol üst köşeden bir bölge seçin.

2. Sol gezinme bölmesinde Observation O&M > Jobs yolunu izleyin.

3. Jobs sayfasında Regular Job List sekmesine tıklayın ve Job Type alanını MCQA2 olarak ayarlayarak belirtilen Time Range içindeki MaxQA işlerini görüntüleyin.