E-MapReduce:HBase için depolama arka ucu olarak OSS-HDFS kullanma

Arka Plan

OSS-HDFS; birleşik meta veri yönetimi, tam HDFS API uyumluluğu ve kapsamlı POSIX desteği sunan cloud-native bir veri gölü depolama hizmetidir. Veri gölü mimarilerindeki büyük veri ve yapay zeka hesaplama senaryoları için son derece uygundur. Daha fazla bilgi için bkz. OSS-HDFS nedir?.

Sınırlamalar

Yalnızca E-MapReduce 3.42 veya sonraki sürümlerini ya da E-MapReduce 5.8.0 veya sonraki sürümlerini çalıştıran DataServing kümeleri tarafından desteklenir.

Yordam

1. OSS-HDFS'yi etkinleştirin ve gerekli erişim izinlerini verin. Ayrıntılı talimatlar için bkz. OSS-HDFS'yi etkinleştirme ve erişim izinleri verme.

2. OSS-HDFS hizmet uç noktasını edinin.

   OSS konsolunda Overview sayfasına gidin ve OSS-HDFS hizmeti için uç noktayı kopyalayın. E-MapReduce HBase kümesini oluştururken bu uç noktayı hbase.rootdir parametresinin yolu olarak kullanın.

   Paketin Access Domain panelinde HDFS Service satırını bulun. Paket uç nokta biçimi <BucketName>.cn-shanghai.oss-dls.aliyuncs.com şeklindedir. Bu uç noktayı kopyalayın.

3. OSS-HDFS'yi kullanın.

   1. Bir DataServing kümesi oluşturun. Daha fazla bilgi için bkz. Küme oluşturma.

      DataServing kümesini oluştururken aşağıdaki parametreleri yapılandırın:

      • Optional Services: JindoData ve Phoenix dışındaki tüm hizmetleri seçin.

      • HBase Storage Mode: OSS-HDFS seçeneğini belirleyin.

      • Root Directory: HDFS hizmeti etkinleştirilmiş bir OSS paketi belirtin. Biçim olarak oss://${OSS-HDFS_ENDPOINT}/${DIR} kullanın. Örneğin: oss://test_bucket.cn-hangzhou.oss-dls.aliyuncs.com/hbase.

      Not

      Aşağıdaki yer tutucuları değiştirin:

      • ${OSS-HDFS_ENDPOINT}: Adım 2 içinde elde ettiğiniz OSS-HDFS uç noktası.

      • ${DIR}: HBase için kök dizin.

   2. Bir HBase tablosu oluşturun.

      1. DataServing kümesinde oturum açın. Daha fazla bilgi için bkz. Kümede oturum açma.

      2. HBase Shell'i başlatmak için aşağıdaki komutu çalıştırın:

         hbase shell

      3. f adlı bir sütun ailesi içeren bar adlı bir test tablosu oluşturmak için aşağıdaki komutu çalıştırın:

         create 'bar','f'

         Tabloyu oluşturduktan sonra tablolarınızı görüntülemek için list komutunu çalıştırabilirsiniz.

         Örnek çıktı:

         TABLE
         bar
         1 row(s)
         Took 0.0138 seconds

   3. HBase Shell'den çıkın ve tablo verilerinin OSS-HDFS'de depolandığını doğrulamak için aşağıdaki komutu çalıştırın.

      Sözdizimi:

      hadoop fs -ls oss://${OSS-HDFS_ENDPOINT}/${DIR}

      Örnek:

      hadoop fs -ls oss://test_bucket.cn-hangzhou.oss-dls.aliyuncs.com/hbase/data/default

      Benzer bir çıktı, HBase tablosu için dizinin OSS-HDFS'de oluşturulduğunu doğrular:

      Found 1 items
      drwxrwxrwx   - hbase supergroup          0 2022-07-28 14:45 oss://test_bucket.cn-hangzhou.oss-dls.aliyuncs.com/hbase/data/default/bar

4. İsteğe bağlı: Bir kümeyi sonlandırın ve verileri geri yükleyin.

   OSS-HDFS işlem gücünü depolamadan ayırdığından, orijinal kümeyi sonlandırıp aynı OSS-HDFS dizininden aynı verileri okuyan yeni bir küme oluşturabilirsiniz.

   Önemli

   • Yeni küme ile orijinal küme aynı HBase sürümünü kullanmalıdır. Sürüm uyumsuzluğu öngörülemeyen uyumluluk sorunlarına neden olabilir ve yeni kümenin kullanılamaz hale gelmesine yol açabilir.

     Optional Services bölümünde HBASE (2.3.4) seçeneğini belirleyin.

   • Birden çok kümeden eş zamanlı yazma işlemleri meta veri veya veri tutarsızlıklarına neden olabilir, verilerinizi bozabilir ve kümelerin erişilemez hale gelmesine yol açabilir.

   1. DataServing kümesinde oturum açın. Daha fazla bilgi için bkz. Kümede oturum açma.

   2. HBase Shell'i başlatın.

      hbase shell

   3. Tablolarınız için bellekteki tüm verileri HFile'a yazmak üzere flush komutunu çalıştırın.

      flush 'bar'

   4. Yeni veri yazılmasını önlemek için tablolarınızda disable komutunu çalıştırın.

      disable 'bar'

   5. Yeni bir küme oluşturun. Bu kümenin orijinal kümeyle aynı HBase sürümüne sahip olduğundan ve depolama arka ucu olarak aynı OSS-HDFS dizinini kullanacak şekilde yapılandırıldığından emin olun.

      Yeni küme verileri OSS-HDFS'den otomatik olarak geri yükler ve kullanıma hazır hale gelir.