Kelola aliran data CPFS for Lingjun - Cloud Parallel File Storage

Untuk mengaktifkan aliran data antara sistem file CPFS for Lingjun dan bucket Object Storage Service (OSS), Anda harus terlebih dahulu membuat aliran data. Topik ini menjelaskan cara membuat dan mengelola aliran data untuk CPFS for Lingjun di Konsol NAS.

Prasyarat

Untuk mencegah konflik data saat beberapa aliran data mengekspor data ke bucket OSS yang sama, aktifkan versioning pada bucket OSS tersebut. Untuk informasi selengkapnya, lihat Introduction to versioning.

Batasan

CPFS for Lingjun V2.4.0 dan versi yang lebih baru mendukung dataflow dalam akun yang sama. CPFS for Lingjun V2.6.0 dan versi yang lebih baru mendukung dataflow lintas akun.
Maksimal 10 dataflow dapat dibuat untuk satu sistem file CPFS for Lingjun.
Jalur file dalam sistem file CPFS for Lingjun hanya dapat dikaitkan dengan satu bucket OSS.
Anda tidak dapat membuat dataflow antara sistem file CPFS for Lingjun dan bucket OSS yang berada di wilayah berbeda.

Untuk informasi selengkapnya mengenai batasan aliran data, lihat Limits.

Buat aliran data dalam akun yang sama

Login ke NAS console.
Di panel navigasi sebelah kiri, pilih File System > File System List.
Di bilah navigasi atas, pilih wilayah.
Pada halaman File System List, klik nama sistem file tersebut.
Pada halaman produk sistem file, klik Dataflow.
Pada tab Dataflow, klik Create Dataflow.

Pada kotak dialog Create Dataflow, konfigurasikan parameter berikut.

Parameter	Deskripsi
CPFS File System Path	Tentukan jalur untuk aliran data ke OSS. Batasan: Panjang jalur harus antara 1 hingga 1.023 karakter. Jalur harus diawali dan diakhiri dengan garis miring (/).
OSS Bucket	Kaitkan bucket OSS sumber dengan jalur sistem file CPFS for Lingjun. Pilih Select A Bucket In The Current Account, lalu pilih nama bucket OSS target dari daftar dropdown.
OSS Object Prefix	Jalur di bucket OSS sumber. Batasan: Panjang harus antara 1 hingga 1.023 karakter. Jalur harus diawali dan diakhiri dengan garis miring (/). Awalan tersebut harus sudah ada di bucket OSS.
OSS Bucket SSL	Tentukan apakah akan menggunakan HTTPS untuk mengakses OSS.
OSS Bucket Tags	Anda hanya dapat membuat aliran data setelah menambahkan tag `cpfs-dataflow: true` ke bucket OSS. Jangan menghapus atau mengubah tag ini selama aliran data sedang digunakan. Jika tidak, aliran data CPFS for Lingjun tidak dapat mengakses data di bucket tersebut. Cara menambahkan tag Buka bucket target. Di panel navigasi sebelah kiri, pilih Bucket Configurations > Bucket Tags, lalu klik Create Tag. Masukkan `cpfs-dataflow` sebagai kunci tag dan `true` sebagai nilai tag, seperti yang ditunjukkan pada gambar berikut. Klik Save untuk menyelesaikan konfigurasi tag. Kemudian, kembali ke konsol CPFS untuk melanjutkan pembuatan aliran data.
SLR Authorization	Saat pertama kali Creating Data Flow, Anda harus menyetujui otorisasi peran terkait layanan yang memungkinkan CPFS mengakses sumber daya layanan Object Storage Service (OSS). Untuk informasi selengkapnya, lihat Cloud Parallel File Storage Service-linked Role.

Klik OK.
Setelah Anda mengklik OK, sistem akan memverifikasi informasi yang Anda masukkan. Proses ini memerlukan waktu 1 hingga 2 menit. Jendela akan otomatis tertutup setelah verifikasi selesai. Jangan menutup jendela secara manual.

Buat aliran data lintas akun

Jika Anda ingin memindahkan data dari bucket OSS sumber milik Akun B ke sistem file CPFS for Lingjun milik Akun A, Anda harus terlebih dahulu login ke Akun B untuk memberikan izin kepada role AliyunNasCrossAccountDataFlowDefaultRole. Anda juga harus menambahkan UID Akun A ke kebijakan kepercayaan role tersebut. Setelah itu, Anda dapat login ke Akun A untuk membuat aliran data lintas akun serta tugas impor atau ekspor data.

Topik ini menggunakan contoh aliran data antara sistem file CPFS for Lingjun milik Akun Alibaba Cloud A dan bucket OSS milik Akun B.

Prosedur

Berikan izin kepada akun pemilik bucket OSS sumber.
1. Gunakan Account B untuk login ke NAS console.
2. Pada halaman Overview, di area References, klik Authorization Management.
3. Di panel Authorization Management, klik Go To Authorization di area Cross-account Data Flow Authorization.
4. Klik Agree To Authorize.
5. Kembali ke panel Authorization Management di Konsol NAS. Di area Cross-account Data Flow Authorization, klik View Details untuk membuka halaman detail role AliyunNasCrossAccountDataFlowDefaultRole.
6. Pada tab Trust Policy, klik Edit Trust Policy.
7. Ubah nilai bidang Service menjadi format Alibaba Cloud account@nas.aliyuncs.com.
  Sebagai contoh, jika UID Akun Alibaba Cloud A adalah 178321033379****, ubah nas.aliyuncs.com di bidang Service menjadi 178321033379****@nas.aliyuncs.com. Hal ini memungkinkan layanan aliran data milik Akun Alibaba Cloud A (178321033379****@nas.aliyuncs.com) untuk mengasumsikan role tersebut.
```
{
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "178321033379****@nas.aliyuncs.com" 
        ]
      }
    }
  ],
  "Version": "1"
}
```

Buat aliran data lintas akun.

Gunakan Akun A untuk login ke NAS console.
Di panel navigasi sebelah kiri, pilih File System > File System List.
Di bilah navigasi atas, pilih wilayah.
Pada halaman File System List, klik nama sistem file tersebut.
Pada halaman produk sistem file, klik Dataflow.
Pada tab Dataflow, klik Create Dataflow.

Pada kotak dialog Create Dataflow, konfigurasikan parameter berikut.

Parameter	Deskripsi
CPFS File System Path	Tentukan jalur untuk aliran data ke OSS. Batasan: Panjang harus antara 1 hingga 1.023 karakter. Jalur harus diawali dan diakhiri dengan garis miring (/).
OSS Bucket	Kaitkan bucket OSS sumber dengan jalur sistem file CPFS for Lingjun. Pilih Specify A Bucket In Another Account, lalu masukkan UID akun tempat bucket OSS sumber berada di kolom Account ID, dan masukkan nama bucket OSS sumber target di kolom Bucket Name.
OSS Object Prefix	Jalur di bucket OSS sumber. Batasan: Panjang harus antara 1 hingga 1.023 karakter. Jalur harus diawali dan diakhiri dengan garis miring (/). Awalan tersebut harus sudah ada di bucket OSS.
OSS Bucket SSL	Tentukan apakah akan menggunakan HTTPS untuk mengakses OSS.

Klik Confirm.
Setelah Anda mengklik Confirm, sistem akan memverifikasi informasi yang Anda masukkan. Proses ini memerlukan waktu 1 hingga 2 menit. Jendela akan otomatis tertutup setelah verifikasi selesai. Jangan menutup jendela secara manual.

Operasi terkait

Anda dapat melihat aliran data yang ada, mengubah konfigurasi aliran data, dan menghapus aliran data di konsol.

Operasi	Deskripsi	Langkah-langkah
Lihat aliran data	Anda dapat melihat aliran data yang telah dibuat dan membuat tugas aliran data untuk aliran data tertentu.	Pada tab Dataflow, Anda dapat melakukan kueri informasi konfigurasi aliran data tertentu.
Ubah aliran data	Anda hanya dapat mengubah deskripsi aliran data.	Pada tab Dataflow, temukan aliran data target. Klik Modify untuk mengubah informasi deskripsi aliran data tersebut. Klik OK.
Hapus aliran data	Setelah Anda menghapus aliran data, semua tugas aliran data tersebut akan dipurge dan data tidak dapat disinkronkan. Penting Anda tidak dapat menghapus aliran data jika pekerjaan streaming atau pekerjaan batch sedang berjalan.	Pada tab Dataflow, temukan aliran data target. Klik Delete untuk mengonfirmasi aliran data target. Klik OK.

Langkah selanjutnya

Setelah membuat aliran data, Anda harus membuat tugas impor atau ekspor data untuk mentransfer data antara sistem file CPFS for Lingjun dan bucket OSS. Untuk informasi selengkapnya, lihat Create tasks.