MaxCompute:Özel depolama işleyicisi

Kullanım notları

• OSS harici tablolar küme özelliğini desteklemez.

• Tek bir dosyanın boyutu 2 GB'ı aşamaz. 2 GB'tan büyük dosyaları bölmeniz gerekir.

Harici tablo oluşturma

CREATE EXTERNAL TABLE [IF NOT EXISTS] mc_oss_extable_name
(
  col_name data_type,
  ...
)
[comment table_comment]
[partitioned BY (col_name data_type, ...)] 
stored BY '<YOUR_DEFINED_STORAGEHANDLER>' 
WITH serdeproperties (
  ['property_name'='property_value',...]
) 
location 'oss_location' 
USING 'jar_name';

SET odps.sql.unstructured.data.single.file.split.enabled=true;

Veri yazma

MaxCompute yazma söz dizimi hakkında daha fazla bilgi için bkz. OSS'e Veri Yazma.

Verileri sorgulama ve analiz etme

• SELECT söz dizimi hakkında daha fazla bilgi için bkz. OSS'ten Veri Okuma.

• Sorgu planlarını optimize etme hakkında daha fazla bilgi için bkz. Sorgu Optimizasyonu.

Örnek: OSS harici tablosu oluşturma

Bu örnekte Ek: Örnek verileri hazırlama bölümünde açıklanan ve özel bir depolama işleyicisiyle kullanılmak üzere hazırlanan SampleData/ dizinine harici tablonun nasıl eşleneceği gösterilmektedir. Prosedür şu şekildedir:

1. Ön koşullar

   • Bir MaxCompute projesi oluşturulmuştur.

   • Bir OSS paketi ve klasörü mevcuttur. Daha fazla bilgi için bkz. Paket Oluşturma ve Klasörleri Yönetme.

     MaxCompute OSS'te otomatik klasör oluşturmayı destekler. Bir SQL ifadesi harici tabloları ve kullanıcı tanımlı işlevleri (UDF) içeriyorsa tek bir ifadeyle tabloları okuyup yazabilir ve UDF'leri kullanabilirsiniz. Klasörleri manuel olarak da oluşturabilirsiniz.

     MaxCompute yalnızca belirli bölgelerde dağıtılmıştır. Bölge arası veri bağlantılarıyla ilgili olası sorunlardan kaçınmak için OSS paketinizin MaxCompute projenizle aynı bölgede olduğundan emin olun.

   • Yetkilendirme

     • OSS'e erişim izniniz olmalıdır. OSS harici tablolarına erişmek için bir Alibaba Cloud hesabı Resource Access Management (RAM) kullanıcısı veya RAM rolü kullanabilirsiniz. Yetkilendirme hakkında daha fazla bilgi için bkz. OSS için STS Modunda Erişimi Yetkilendirme.

     • MaxCompute projesinde CreateTable iznine sahip olmanız gerekir. Tablo izinleri hakkında daha fazla bilgi için bkz. MaxCompute İzinleri.

2. MaxCompute Studio'yu kullanarak TextExtractor.java, TextOutputer.java, SplitReader.java ve TextStorageHandler.java Java sınıflarını oluşturun. Java programları geliştirmeye ilişkin daha fazla bilgi için bkz. UDF Geliştirme.

3. TextStorageHandler.java dosyasını paketlemek için MaxCompute Studio'nun tek tıkla paketleme özelliğini kullanın ve paketi bir MaxCompute kaynağı olarak yükleyin.

   Kaynağın adının javatest-1.0-SNAPSHOT.jar olduğunu varsayalım. Kaynağı paketleme yükleme ve kaydetme hakkında daha fazla bilgi için bkz. Paketleme, Yükleme ve Kaydetme.

   Not

   Birden fazla bağımlılığınız varsa her birini ayrı ayrı paketleyin ve ayrı bir MaxCompute kaynağı olarak yükleyin.

4. OSS harici tablosunu oluşturmak için aşağıdaki komutu çalıştırın:

   CREATE EXTERNAL TABLE ambulance_data_txt_external
   (
     vehicleId INT,
     recordId INT,
     patientId INT,
     calls INT,
     locationLatitute DOUBLE,
     locationLongtitue DOUBLE,
     recordTime STRING,
     direction STRING
   )
   stored BY 'com.aliyun.odps.udf.example.text.TextStorageHandler' 
     WITH serdeproperties (
       'delimiter'='|',  
       'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
     )
   location 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/SampleData/'
   USING 'javatest-1.0-SNAPSHOT.jar'; 
   
   -- You can run the 'desc extended ambulance_data_txt_external;' command to view the schema of the created external table.

   Not

   delimiter parametresi OSS dosyasındaki sütun ayırıcıyı tanımlayan özel bir özelliktir. Ayırıcı olarak herhangi bir geçerli dize belirtebilirsiniz.

5. OSS'ten veri okuyun. Örnek komut:

   SELECT recordId, patientId, direction FROM ambulance_data_txt_external WHERE patientId > 25;

   Aşağıdaki sonuç döndürülür:

   +----------+-----------+-----------+
   | recordid | patientid | direction |
   +----------+-----------+-----------+
   | 1        | 51        | S         |
   | 3        | 48        | NE        |
   | 4        | 30        | W         |
   | 5        | 47        | S         |
   | 7        | 53        | N         |
   | 8        | 63        | SW        |
   | 10       | 31        | N         |
   +----------+-----------+-----------+

6. OSS harici tablosuna veri yazın.

   INSERT INTO ambulance_data_txt_external VALUES (1,16,76,1,'46.81006','-92.08174','9/14/2014 0:10','SW');
   
   -- Query the table again to check whether the data is written. You can also check whether a new file is generated in the OSS directory.
   SELECT * FROM ambulance_data_txt_external WHERE recordId='16';

SSS