Object Storage Service:OSS-HDFS'de depolanan verileri sorgulamak için Trino ile JindoSDK kullanma

Ön koşullar

• Örneğin, dağıtım ortamınız olarak Elastic Compute Service (ECS) kullanmak istiyorsanız bir örnek oluşturun.

• Bir Hadoop ortamı oluşturulmuş olmalıdır. Hadoop'un nasıl kurulacağı hakkında daha fazla bilgi için bkz. Hadoop ile JindoSDK kullanarak OSS-HDFS'ye erişme.

• Trino dağıtılmış olmalıdır. Daha fazla bilgi için Deploying Trino sayfasını ziyaret edin.

• Bir paket için OSS-HDFS etkinleştirilmiş ve OSS-HDFS üzerindeki erişim izinleri verilmiş olmalıdır. Daha fazla bilgi için bkz. Enable OSS-HDFS service.

Yordam

1. ECS örneğine bağlanın. Daha fazla bilgi için bkz. Bir ECS örneğine bağlanma.

2. JindoSDK'yı yapılandırın.

   1. JindoSDK JAR paketinin en son sürümünü indirin. JindoSDK'yı indirmek için GitHub adresini ziyaret edin.

   2. JindoSDK JAR paketini açın.

      Aşağıdaki örnek kod, jindosdk-x.x.x-linux.tar.gz adlı bir paketin nasıl açılacağını gösterir. Farklı bir JindoSDK sürümü kullanıyorsanız paket adını ilgili JAR paketinin adıyla değiştirin.

      tar zxvf jindosdk-x.x.x-linux.tar.gz

      Not

      x.x.x, JindoSDK JAR paketinin sürüm numarasını belirtir.

   3. İndirilen JindoSDK JAR paketini classpath tarafından belirtilen yola yükleyin.

      cp jindosdk-x.x.x-linux/lib/*.jar  $Trino_HOME/plugin/hive-hadoop2/

3. OSS-HDFS uygulama sınıfını yapılandırın ve pakete erişmek için kullanmak istediğiniz AccessKey çiftini belirtin.

   1. Tüm Trino düğümlerindeki core-site.xml adlı Hadoop yapılandırma dosyasında OSS-HDFS uygulama sınıfını yapılandırın.

      <configuration>
          <property>
              <name>fs.AbstractFileSystem.oss.impl</name>
              <value>com.aliyun.jindodata.oss.JindoOSS</value>
          </property>
      
          <property>
              <name>fs.oss.impl</name>
              <value>com.aliyun.jindodata.oss.JindoOssFileSystem</value>
          </property>
      </configuration>

   2. Tüm Trino düğümlerindeki core-site.xml dosyasında, OSS-HDFS'nin etkinleştirildiği pakete erişmek için kullanmak istediğiniz AccessKey ID ve AccessKey secret değerlerini belirtin.

      <configuration>
          <property>
              <name>fs.oss.accessKeyId</name>
              <value>LTAI********</value>
          </property>
      
          <property>
              <name>fs.oss.accessKeySecret</name>
              <value>KZo1********</value>
          </property>
      </configuration>

4. OSS-HDFS uç noktasını yapılandırın.

   Object Storage Service (OSS) içindeki paketlere erişmek için OSS-HDFS kullanmak istiyorsanız OSS-HDFS uç noktasını belirtmeniz gerekir. OSS-HDFS'ye erişmek için kullanılan yolu oss://{yourBucketName}.{yourBucketEndpoint}/{path} biçiminde yapılandırmanızı öneririz. Örnek: oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/exampleobject.txt. Erişim yolunu yapılandırdıktan sonra JindoSDK, erişim yolunda belirtilen uç noktaya göre ilgili OSS-HDFS işlemini çağırır.

   OSS-HDFS uç noktasını başka yöntemler kullanarak da yapılandırabilirsiniz. Farklı yöntemlerle yapılandırılan uç noktaların öncelikleri farklıdır. Daha fazla bilgi için bkz. Hızlı başlangıç: EMR olmayan bir kümeyi OSS-HDFS hizmetine bağlama.

   Önemli

   Yukarıdaki yapılandırmaları tamamladıktan sonra yapılandırmaların etkili olması için Trino'yu yeniden başlatmanız gerekir.

5. OSS-HDFS'de depolanan verileri sorgulayın

   Aşağıdaki örnekte HiveCatalog kullanılır. Trino kullanarak OSS için bir şema oluşturabilir ve OSS-HDFS'de depolanan verileri sorgulamak için SQL deyimlerini çalıştırabilirsiniz. Trino, Hive Metastore'u bağımlılık olarak kullandığından JindoSDK'yı Hive hizmetine yüklemeniz ve dağıtmanız gerekir. Daha fazla bilgi için bkz. Hive ile JindoSDK kullanarak OSS-HDFS'de depolanan verileri işleme.

   1. Trino konsoluna giriş yapın.

      trino --server <Trino_server_address>:<Trino_server_port> --catalog hive

   2. OSS için bir şema oluşturun.

      create schema testDB with (location='oss://{yourBucketName}.{yourBucketEndpoint}/{schema_dir}');

   3. Şemayı kullanın.

      use testDB;

   4. Bir tablo oluşturun.

      create table tbl (key int, val int);

   5. Tabloya veri ekleyin.

      insert into tbl values (1,666);

   6. Tablodaki verileri sorgulayın.

      select * from tbl;