GanosBase memungkinkan Anda mengimpor file dari Alibaba Cloud Object Storage Service (OSS), MinIO, dan HDFS.
Path file di OSS
Path file:
oss://<access_id>:<secrect_key>@[<Endpoint>]/<bucket>/path_to/fileParameter Endpoint bersifat opsional. Jika parameter ini tidak ditentukan, GanosBase akan secara otomatis mendapatkan endpoint yang diperlukan. Namun, jika parameter Endpoint tidak ditentukan, pastikan path dimulai dengan garis miring (/).
Parameter Endpoint menentukan wilayah tempat OSS berada. Untuk memastikan akses data, pastikan cluster dan OSS berada di wilayah yang sama serta gunakan endpoint internal untuk akses. Untuk informasi lebih lanjut, lihat Gunakan Endpoint yang Mendukung IPv6 untuk Mengakses OSS.
Path file di MinIO
Path file:
mio://<id>:<key>@<host>[:<port>]/<bucket>/path_to/fileJika parameter port tidak ditentukan, port HTTPS akan digunakan secara otomatis.
Untuk memastikan akses data dan mengoptimalkan kinerja impor data, pastikan cluster dan MinIO berada di wilayah dan Virtual Private Cloud (VPC) yang sama, serta gunakan alamat jaringan internal untuk akses.
Path file di Hadoop Distributed File System (HDFS)
Path file:
HDFS://<user_name>@<host>:<port>/path_to/filePerhatikan poin-poin berikut:
Jika parameter
user_nametidak ditentukan, nilai defaulthadoopakan digunakan sebagai nama pengguna.Tetapkan parameter
hostke titik akhir Remote Procedure Call (RPC) dan nomor port dalam file konfigurasi HDFS.
Untuk memastikan akses data dan mengoptimalkan kinerja impor data, pastikan cluster dan HDFS berada di wilayah dan VPC yang sama, serta gunakan alamat IP internal untuk akses.
Contoh
OSS
OSS://my_id:my_secret@oss-cn-hangzhou-internal.aliyuncs.com/my_bucket/my_folder/my_fileMinIO
MIO://my_id:my_secret@250.0.0.1:8080/my_bucket/my_folder/my_fileHDFS
Parameter
secrettidak ditentukan. Dalam hal ini, nilai defaulthadoopdigunakan.HDFS://my_id@250.0.0.1:8081/my_folder/my_fileParameter
secretditentukan.HDFS://my_id:my_secret@250.0.0.1:8081/my_folder/my_file