GanosBaseを使用すると、Alibaba Cloud Object Storage Service (OSS) 、MinIO、およびHDFSからファイルをインポートできます。
OSSのファイルパス
ファイルパス:
oss://<access_id >:< secrect_key>@[<Endpoint>]/<bucket>/path_to/fileEndpointパラメーターはオプションです。 このパラメーターを指定しない場合、GanosBaseは自動的に必要なエンドポイントを取得します。endpointパラメーターを指定しない場合は、パスがスラッシュ (/) で始まることを確認してください。
Endpointパラメーターは、OSSが存在するリージョンを指定します。 データアクセスを確保するには、クラスターとOSSが同じリージョンにあり、アクセスには内部エンドポイントを使用していることを確認します。 詳細は、「OSSドメイン名」をご参照ください。
MinIOのファイルパス
ファイルパス:
mio://<id >:< key >@< host>[:<port>]/<bucket>/path_to/fileportパラメーターを指定しないと、HTTPSポートが自動的に使用されます。
データアクセスを確保し、データインポートパフォーマンスを最適化するには、クラスターとMinioが同じリージョンとVirtual Private Cloud (VPC) にあり、アクセスには内部ネットワークアドレスを使用していることを確認します。
Hadoop分散ファイルシステム (HDFS) のファイルパス
ファイルパス:
HDFS://<user_name >@< host >:< port>/path_to/file以下の点に注意する必要があります。
user_nameパラメーターを指定しない場合、デフォルトのユーザー名としてhadoopが使用されます。hostパラメーターを、HDFS構成ファイルのリモートプロシージャコール (RPC) エンドポイントおよびポート番号に設定します。
データアクセスを確保し、データインポートパフォーマンスを最適化するには、クラスターとHDFSが同じリージョンとVPCにあり、アクセスには内部IPアドレスを使用していることを確認します。
例
OSS
OSS:// my_id:my_secret@oss-cn-hangzhou-internal.aliyuncs.com/my_bucket/my_folder/my_fileMinIO
MIO:// my_id:my_secret@250.0.0.1:8080/my_bucket/my_folder/my_fileHDFS
secretパラメーターが指定されていません。 この場合、デフォルト値hadoopが使用されます。HDFS:// my_id@250.0.0.1:8081/my_folder/my_filesecretパラメーターが指定されています。HDFS:// my_id:my_secret@250.0.0.1:8081/my_folder/my_file