Mengelola aliran data untuk CPFS for Lingjun - Cloud Parallel File Storage

Untuk mentransfer data antara sistem file CPFS for Lingjun dan bucket Object Storage Service (OSS), Anda harus terlebih dahulu membuat aliran data. Topik ini menjelaskan cara membuat dan mengelola aliran data untuk CPFS for Lingjun di Konsol NAS.

Prasyarat

Untuk mencegah konflik data saat beberapa aliran data mengekspor data ke bucket OSS yang sama, Anda harus mengaktifkan versioning pada bucket tersebut. Untuk informasi selengkapnya, lihat Introduction to versioning.

Batasan

Aliran data dalam satu akun memerlukan CPFS for Lingjun versi 2.4.0 atau lebih baru. Aliran data lintas akun memerlukan versi 2.6.0 atau lebih baru.
Maksimal 10 aliran data per sistem file CPFS for Lingjun.
Setiap path sistem file hanya dapat ditautkan ke satu bucket OSS.
Aliran data tidak dapat mencakup wilayah (region) yang berbeda.

Untuk informasi selengkapnya mengenai batasan fitur aliran data, lihat Limitations.

Buat aliran data dalam satu akun

Login ke Konsol NAS.
Pada panel navigasi kiri, pilih File System > File System List.
Pada bilah navigasi atas, pilih wilayah.
Pada halaman File System List, klik nama sistem file.
Pada halaman detail sistem file, klik Dataflow.
Pada tab Dataflow, klik Create Dataflow.

Pada kotak dialog Create Dataflow, konfigurasikan parameter berikut.

Parameter	Deskripsi
CPFS File System Path	Path dalam sistem file CPFS for Lingjun yang akan dikaitkan dengan bucket OSS. Batasan: Panjang 1 hingga 1.023 karakter. Harus diawali dan diakhiri dengan garis miring (/).
OSS Bucket	Bucket OSS sumber yang akan dikaitkan dengan path sistem file CPFS for Lingjun. Pilih Select a bucket in the current account, lalu pilih nama bucket OSS target dari daftar drop-down.
OSS Object Prefix	Path dalam bucket OSS yang digunakan sebagai sumber aliran data. Batasan: Panjang 1 hingga 1.023 karakter. Harus diawali dan diakhiri dengan garis miring (/). Awalan (prefix) tersebut harus sudah ada di bucket OSS.
OSS Bucket SSL	Menentukan apakah akan menggunakan HTTPS untuk mengakses OSS.
OSS Bucket Tag	Anda harus menambahkan tag `cpfs-dataflow: true` ke bucket OSS sebelum dapat membuat aliran data. Jangan menghapus atau mengubah tag ini selama aliran data sedang digunakan. Jika tidak, aliran data untuk sistem file CPFS for Lingjun tidak dapat mengakses data di bucket tersebut. Cara menambahkan tag Buka bucket target. Pada panel navigasi kiri, pilih Bucket Settings > Bucket Tagging. Klik Create Tag. Masukkan `cpfs-dataflow` sebagai kunci tag dan `true` sebagai nilai tag. Klik Save untuk menambahkan tag, lalu kembali ke Konsol NAS untuk melanjutkan pembuatan aliran data.
SLR Authorization	Saat pertama kali Create Dataflow, Anda harus memberikan otorisasi pada peran terkait layanan (service-linked role) yang memungkinkan CPFS mengakses sumber daya di Object Storage Service (OSS). Untuk informasi selengkapnya, lihat File Storage CPFS service-linked role.

Klik OK.
Setelah Anda mengklik OK, sistem akan memverifikasi konfigurasi Anda. Proses ini memerlukan waktu 1–2 menit. Kotak dialog akan tertutup secara otomatis setelah verifikasi selesai. Jangan menutupnya secara manual.

Buat aliran data lintas akun

Jika Anda perlu memindahkan data dari bucket OSS di Akun B ke sistem file CPFS for Lingjun di Akun A, Anda harus terlebih dahulu login ke Akun B untuk memberikan otorisasi pada AliyunNasCrossAccountDataFlowDefaultRole dan menambahkan UID Akun A ke kebijakan kepercayaan (trust policy) peran tersebut. Setelah itu, Anda dapat login ke Akun A untuk membuat aliran data lintas akun serta tugas impor atau ekspor data.

Bagian ini menggunakan contoh aliran data antara sistem file CPFS for Lingjun di bawah Akun Alibaba Cloud A dan bucket OSS di bawah Akun B.

Prosedur

Berikan izin dari Akun B (pemilik bucket OSS).
1. Login ke Konsol NAS menggunakan Akun B.
2. Pada halaman Overview, di bagian References, klik Authorization Management.
3. Pada panel Authorization Management, di bagian Cross-account Authorization on Data Flows, klik Authorize Now.
4. Klik Authorize.
5. Kembali ke panel Authorization Management di Konsol NAS. Di bagian Cross-account Authorization on Data Flows, klik View Details untuk membuka halaman detail AliyunNasCrossAccountDataFlowDefaultRole.
6. Pada tab Trust Policy, klik Edit Trust Policy.
7. Ubah bidang Service menjadi <UID Akun Alibaba Cloud A>@nas.aliyuncs.com.
  Sebagai contoh, jika UID Akun Alibaba Cloud A adalah 178321033379****, ubah nilai Service dari nas.aliyuncs.com menjadi 178321033379****@nas.aliyuncs.com. Hal ini menunjukkan bahwa layanan aliran data Akun Alibaba Cloud A (178321033379****@nas.aliyuncs.com) dapat mengasumsikan peran ini.
```
{
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "178321033379****@nas.aliyuncs.com" 
        ]
      }
    }
  ],
  "Version": "1"
}
```

Buat aliran data lintas akun menggunakan Akun A.

Login ke Konsol NAS menggunakan Akun A.
Pada panel navigasi kiri, pilih File System > File System List.
Pada bilah navigasi atas, pilih wilayah.
Pada halaman File System List, klik nama sistem file.
Pada halaman detail sistem file, klik Dataflow.
Pada tab Dataflow, klik Create Dataflow.

Pada kotak dialog Create Dataflow, konfigurasikan parameter berikut.

Parameter	Deskripsi
CPFS File System Path	Path dalam sistem file CPFS for Lingjun yang akan dikaitkan dengan bucket OSS. Batasan: Panjang 1 hingga 1.023 karakter. Harus diawali dan diakhiri dengan garis miring (/).
OSS Bucket	Bucket OSS sumber yang akan dikaitkan dengan path sistem file CPFS for Lingjun. Pilih Specify a bucket in another account. Masukkan UID akun pemilik bucket OSS sumber ke dalam bidang Account ID, dan masukkan nama bucket OSS sumber ke dalam bidang Bucket Name.
OSS Object Prefix	Path dalam bucket OSS yang digunakan sebagai sumber aliran data. Batasan: Panjang 1 hingga 1.023 karakter. Harus diawali dan diakhiri dengan garis miring (/). Awalan (prefix) tersebut harus sudah ada di bucket OSS.
OSS Bucket SSL	Menentukan apakah akan menggunakan HTTPS untuk mengakses OSS.

Klik OK.
Setelah Anda mengklik OK, sistem akan memverifikasi konfigurasi Anda. Proses ini memerlukan waktu 1–2 menit. Kotak dialog akan tertutup secara otomatis setelah verifikasi selesai. Jangan menutupnya secara manual.

Operasi terkait

Setelah membuat aliran data, Anda dapat melihat konfigurasinya, memperbarui deskripsinya, dan menghapusnya di konsol.

Tindakan	Deskripsi	Langkah-langkah
Lihat aliran data	Anda dapat melihat aliran data yang telah dibuat dan membuat tugas aliran data untuk aliran data tertentu.	Pada tab Dataflow, Anda dapat melihat konfigurasi aliran data tertentu.
Ubah aliran data	Anda hanya dapat mengubah deskripsi aliran data.	Pada tab Dataflow, temukan aliran data target. Klik Modify dan perbarui deskripsinya. Klik OK.
Hapus aliran data	Menghapus aliran data akan menghapus semua tugas terkait dan menghentikan sinkronisasi data. Penting Anda tidak dapat menghapus aliran data jika terdapat pekerjaan streaming atau batch yang sedang berjalan.	Pada tab Dataflow, temukan aliran data target. Klik Delete. Pada pesan konfirmasi, klik OK.

Langkah berikutnya

Setelah membuat aliran data, buat tugas ekspor atau impor sesuai kebutuhan untuk mentransfer data antara sistem file CPFS for Lingjun dan bucket OSS. Untuk informasi selengkapnya, lihat Create a task.