Mengelola aliran data CPFS for Lingjun - Cloud Parallel File Storage

Untuk mentransfer data antara sistem file CPFS for Lingjun dan bucket OSS, Anda harus membuat aliran data. Topik ini menjelaskan cara membuat dan mengelola aliran data untuk CPFS for Lingjun di Konsol NAS.

Prasyarat

Aktifkan versioning pada bucket OSS untuk mencegah konflik data ketika beberapa aliran data mengekspor data ke bucket yang sama. Untuk informasi selengkapnya, lihat Introduction to versioning.

Batasan

Aliran data dalam satu akun memerlukan CPFS for Lingjun versi 2.4.0 atau lebih baru. Aliran data lintas akun (cross-account) memerlukan versi 2.6.0 atau lebih baru.
Maksimal 10 aliran data per sistem file CPFS for Lingjun.
Setiap path sistem file hanya dapat ditautkan ke satu bucket OSS.
Aliran data tidak dapat mencakup wilayah (region) yang berbeda.

Untuk informasi selengkapnya mengenai batasan aliran data, lihat Limits.

Buat aliran data dalam satu akun

Login ke NAS console.
Di panel navigasi kiri, pilih File System > File System List.
Di bilah navigasi atas, pilih wilayah.
Pada halaman File System List, klik nama sistem file tersebut.
Pada halaman detail sistem file, klik tab Dataflow.
Pada tab Dataflow, klik Create Dataflow.

Pada kotak dialog Create Dataflow, konfigurasikan parameter berikut.

Parameter	Deskripsi
CPFS File System Path	Path dalam sistem file CPFS for Lingjun yang akan dikaitkan dengan bucket OSS. Batasan: Path harus terdiri dari 1 hingga 1.023 karakter. Path harus diawali dan diakhiri dengan garis miring (/).
OSS Bucket	Bucket OSS yang akan dikaitkan dengan path sistem file CPFS for Lingjun. Pilih Select a bucket in the current account, lalu pilih bucket OSS target dari daftar drop-down.
OSS Object Prefix	Path di dalam bucket OSS sumber. Batasan: Awalan harus terdiri dari 1 hingga 1.023 karakter. Awalan harus diawali dan diakhiri dengan garis miring (/). Awalan tersebut harus sudah ada di bucket OSS.
OSS Bucket SSL	Menentukan apakah akan menggunakan HTTPS untuk mengakses bucket OSS.
OSS Bucket Tag	Untuk membuat aliran data, Anda harus memberi tag pada bucket OSS dengan `cpfs-dataflow: true`. Selama aliran data aktif, jangan hapus atau ubah tag ini. Jika tidak, aliran data tidak dapat mengakses bucket tersebut. Cara menambahkan tag: Buka bucket target. Di panel navigasi kiri, pilih Bucket Settings > Bucket Tagging. Klik Create Tag, atur kunci tag menjadi `cpfs-dataflow` dan nilai tag menjadi `true`. Klik Save, lalu kembali ke Konsol NAS untuk membuat aliran data.
SLR Authorization	Saat membuat aliran data pertama kali, Anda harus memberikan otorisasi kepada CPFS untuk mengasumsikan role Create Dataflow agar dapat mengakses sumber daya Object Storage Service (OSS). Untuk informasi selengkapnya, lihat Service-linked role for Apsara File Storage NAS.

Klik OK.

Setelah Anda mengklik OK, sistem akan memvalidasi pengaturan Anda. Proses ini memerlukan waktu 1 hingga 2 menit. Kotak dialog akan tertutup secara otomatis setelah validasi selesai. Jangan menutup kotak dialog secara manual.

Buat aliran data cross-account

Ketika bucket OSS sumber berada di Akun B dan sistem file CPFS for Lingjun berada di Akun A, prosesnya terdiri dari dua langkah utama. Pertama, login ke Akun B untuk memberikan otorisasi pada role AliyunNasCrossAccountDataFlowDefaultRole dan menambahkan ID Akun A ke kebijakan kepercayaan (trust policy) role tersebut. Kedua, login ke Akun A untuk membuat aliran data cross-account serta tugas impor dan ekspor.

Bagian ini memberikan contoh di mana sistem file CPFS for Lingjun berada di Akun A dan bucket OSS berada di Akun B.

Prosedur

Berikan otorisasi kepada akun pemilik bucket OSS sumber.
1. Login ke NAS console menggunakan Akun B.
2. Pada halaman Overview, temukan bagian References dan klik Authorization Management.
3. Di panel Authorization Management, temukan bagian Cross-account Authorization on Data Flows dan klik Authorize Now.
4. Klik Authorize.
5. Kembali ke panel Authorization Management. Di bagian Cross-account Authorization on Data Flows, klik View Details untuk membuka halaman detail role AliyunNasCrossAccountDataFlowDefaultRole.
6. Pada tab Trust Policy, klik Edit Trust Policy.
7. Ubah field Service menjadi format <Account-ID>@nas.aliyuncs.com.
  
  Sebagai contoh, jika ID Akun A adalah 178321033379****, ubah nas.aliyuncs.com dalam field Service menjadi 178321033379****@nas.aliyuncs.com. Hal ini memberikan izin kepada layanan aliran data di Akun A (178321033379****@nas.aliyuncs.com) untuk mengasumsikan role ini.
```
{
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "178321033379****@nas.aliyuncs.com" 
        ]
      }
    }
  ],
  "Version": "1"
}
```

Buat aliran data cross-account.

Login ke NAS console menggunakan Akun A.
Di panel navigasi kiri, pilih File System > File System List.
Di bilah navigasi atas, pilih wilayah.
Pada halaman File System List, klik nama sistem file tersebut.
Pada halaman detail sistem file, klik tab Dataflow.
Pada tab Dataflow, klik Create Dataflow.

Pada kotak dialog Create Dataflow, konfigurasikan parameter berikut.

Parameter	Deskripsi
CPFS File System Path	Path dalam sistem file CPFS for Lingjun yang akan dikaitkan dengan bucket OSS. Batasan: Path harus terdiri dari 1 hingga 1.023 karakter. Path harus diawali dan diakhiri dengan garis miring (/).
OSS Bucket	Bucket OSS yang akan dikaitkan dengan path sistem file CPFS for Lingjun. Pilih Specify a bucket in another account. Pada field Account ID, masukkan ID akun pemilik bucket tersebut. Pada field Bucket Name, masukkan nama bucket tersebut.
OSS Object Prefix	Path di dalam bucket OSS sumber. Batasan: Awalan harus terdiri dari 1 hingga 1.023 karakter. Awalan harus diawali dan diakhiri dengan garis miring (/). Awalan tersebut harus sudah ada di bucket OSS.
OSS Bucket SSL	Menentukan apakah akan menggunakan HTTPS untuk mengakses bucket OSS.

Klik OK.

Setelah Anda mengklik OK, sistem akan memvalidasi pengaturan Anda. Proses ini memerlukan waktu 1 hingga 2 menit. Kotak dialog akan tertutup secara otomatis setelah validasi selesai. Jangan menutup kotak dialog secara manual.

Operasi terkait

Setelah membuat aliran data, Anda dapat melihat, mengubah, atau menghapusnya di konsol.

Tindakan	Deskripsi	Langkah-langkah
Lihat aliran data	Lihat aliran data yang ada dan buat tugas untuk aliran tersebut.	Pada tab Dataflow, Anda dapat melihat informasi konfigurasi aliran data tertentu.
Ubah aliran data	Anda hanya dapat mengubah deskripsi aliran data.	Pada tab Dataflow, temukan aliran data target. Klik Modify dan perbarui deskripsinya. Klik OK.
Hapus aliran data	Menghapus aliran data beserta semua tugas terkaitnya, serta menonaktifkan sinkronisasi data. Penting Anda tidak dapat menghapus aliran data jika terdapat streaming job atau batch job yang sedang berjalan.	Pada tab Dataflow, temukan aliran data target. Klik Delete dan konfirmasi penghapusan tersebut. Klik OK.

Langkah berikutnya

Setelah membuat aliran data, buat tugas ekspor atau impor untuk mentransfer data antara sistem file CPFS for Lingjun dan bucket OSS. Untuk informasi selengkapnya, lihat Create a task.