Mount OSS buckets to local file systems in various operating systems by using s3fs, goofys, and Rclone - Object Storage Service: Central de Documentação do Alibaba Cloud

Este tópico descreve como montar buckets do Object Storage Service (OSS) em sistemas de arquivos locais em diversos sistemas operacionais usando s3fs, goofys e Rclone. Dessa forma, é possível operar objetos do OSS da mesma maneira que arquivos locais, permitindo o compartilhamento de dados.

Pré-requisitos

Crie um usuário do Resource Access Management (RAM) e obtenha um par de AccessKey. Para mais informações, consulte Create a RAM user.
Conceda permissões do sistema ou permissões personalizadas ao usuário do RAM.
- Permissões do sistema: anexe a política AliyunOSSFullAccess ao usuário do RAM para permitir que ele gerencie o OSS, ou anexe a política AliyunOSSReadOnlyAccess para permitir que o usuário apenas acesse objetos do OSS.
- Permissões personalizadas: conceda permissões personalizadas ao usuário do RAM para implementar controle de acesso granular ao OSS com base nos cenários de negócio. Para mais informações, consulte Common examples of RAM policies.

s3fs

O s3fs permite montar um bucket do OSS em um sistema de arquivos local no Linux ou macOS. Após montar o bucket, você pode operar objetos do OSS da mesma forma que opera arquivos locais, viabilizando o compartilhamento de dados. Para mais informações sobre o s3fs, acesse GitHub. Para informações sobre como resolver problemas que podem ocorrer ao usar o s3fs para montar um bucket do OSS, consulte FAQ.

Principais recursos

Compatível com a maioria dos recursos do sistema de arquivos POSIX, incluindo upload e download de objetos e diretórios, além de configuração de links simbólicos e permissões de usuário.
Compatível com escrita aleatória e permite acrescentar dados a um objeto existente.
Não oferece suporte a hard links.
Faz upload de objetos grandes por meio de multipart upload.
Usa arquivos locais como cache.

Importante

Ao usar o s3fs para fazer upload ou download de um objeto, o objeto precisa ser armazenado em cache localmente. A velocidade de download ou upload depende do desempenho de leitura/gravação do disco. O tamanho do cache local pode crescer indefinidamente. Limpe o cache local periodicamente.

Procedimento

Para montar um bucket do OSS em um sistema de arquivos local usando o s3fs, siga as etapas abaixo:

Instale o s3fs.

Os itens a seguir apresentam exemplos de comandos para instalar o s3fs no Ubuntu, CentOS e macOS. Para mais informações sobre como instalar o s3fs em outros sistemas operacionais, acesse Installation.

Ubuntu
```
sudo apt install s3fs 
```

CentOS

sudo yum install epel-release 
sudo yum install s3fs-fuse

Mac

brew install --cask macfuse 
brew install gromgit/fuse/s3fs-mac

Configure as informações de conta usadas para acessar o bucket.

Armazene o par de AccessKey que permite acessar o bucket no arquivo /.passwd-s3fs.
```
echo ACCESS_KEY_ID:ACCESS_KEY_SECRET > ${HOME}/.passwd-s3fs
```
Defina as permissões do arquivo /.passwd-s3fs como 600.
```
chmod 600 ${HOME}/.passwd-s3fs
```
Monte o bucket.
1. Execute o comando a seguir para criar um ponto de montagem:
```
mkdir /tmp/oss-bucket
```
2. Execute o comando a seguir para montar o bucket examplebucket da região China (Hangzhou) em /tmp/oss-bucket:
```
s3fs examplebucket /tmp/oss-bucket -o passwd_file=$HOME/.passwd-s3fs -ourl=http://oss-cn-hangzhou.aliyuncs.com
```
  Nota
  - Se uma instância do Elastic Compute Service (ECS) estiver na mesma região do bucket do OSS, use o endpoint interno oss-cn-hangzhou-internal.aliyuncs.com para acessar o bucket a partir da instância. Para mais informações, consulte Regions and endpoints.
  - Para mais informações sobre os parâmetros compatíveis com o s3fs, acesse Options.

goofys

O goofys permite montar um bucket em um sistema de arquivos local no Linux ou macOS, com suporte apenas a recursos específicos do POSIX. Para mais informações, acesse GitHub.

Principais recursos

Compatível apenas com escrita sequencial.
Não salva permissões nem atributos de objetos.
Não oferece suporte a links simbólicos nem hard links.
O tempo de criação (ctime), tempo de acesso (atime) e tempo de modificação (mtime) são idênticos.
Não depende de caches locais.

Operações em metadados de objetos não são compatíveis. Em cenários específicos que dependem de metadados de objetos, o goofys apresenta restrições de uso.

Em comparação com o s3fs, o goofys não depende de caches locais, o que proporciona melhor desempenho de leitura e gravação em operações como cp e mv. Para mais informações, acesse Benchmark.

Escrita aleatória não é compatível; por isso, o goofys é mais adequado para cenários somente leitura.

Use o goofys de acordo com os requisitos do seu negócio.

Procedimento

Para montar um bucket do OSS em um sistema de arquivos local usando o goofys, siga as etapas abaixo:

Instale o goofys.

Os itens a seguir apresentam exemplos de comandos para instalar o goofys no Linux e macOS. Para mais informações sobre como instalar o goofys em outros sistemas operacionais, acesse Installation.

Linux

curl -SL "https://github.com/kahing/goofys/releases/latest/download/goofys" -o $HOME/goofys
chmod u+x $HOME/goofys

Mac

brew cask install osxfuse
brew install goofys

Configure as informações de conta usadas para acessar o bucket.
1. Execute o comando a seguir para criar um arquivo de configuração:
```
mkdir ~/.aws
```
2. Execute o comando a seguir para abrir o arquivo de configuração:
```
vi ~/.aws/credentials
```
3. Especifique o par de AccessKey, composto por um AccessKey ID e um AccessKey secret.
```
[default]
aws_access_key_id =  The AccessKey ID that is used to access OSS. 
aws_secret_access_key = The AccessKey secret that is used to access OSS.
```
Monte o bucket.

No exemplo a seguir, o bucket examplebucket da região China (Hangzhou) é montado em /mnt/oss-bucket.
1. Execute o comando a seguir para criar um ponto de montagem:
```
mkdir /mnt/oss-bucket
```
2. Execute o comando a seguir para montar o bucket examplebucket em /mnt/oss-bucket:
```
$HOME/goofys --endpoint http://oss-cn-hangzhou.aliyuncs.com --subdomain examplebucket /mnt/oss-bucket
```
  Nota
  - A opção --subdomain no exemplo acima é obrigatória para ativar o nome de domínio virtual. As demais opções — como o bucket a ser montado, o endpoint da região onde o bucket está localizado e o ponto de montagem — podem ser substituídas conforme suas necessidades.
  - Se uma instância do ECS estiver na mesma região do bucket do OSS, use o endpoint interno oss-cn-hangzhou-internal.aliyuncs.com para acessar o bucket a partir da instância.

Rclone

O Rclone é um programa de linha de comando para gerenciar dados na nuvem, com suporte à sincronização de dados entre mais de 50 serviços de armazenamento em cloud. Com o Rclone, você pode montar buckets em sistemas de arquivos locais no Windows e utilizá-los da mesma forma que discos locais para compartilhar dados.

Principais recursos

Compatível com sincronização de arquivos, transferência de arquivos, criptografia de arquivos e montagem de buckets.
Permite montar um bucket em um sistema de arquivos local em diversos sistemas operacionais e oferece serviços por meio de diferentes protocolos.

Para mais informações, acesse Rclone syncs your files to cloud storage.

Procedimento

Para montar um bucket do OSS em um sistema de arquivos local no Windows usando o Rclone, siga as etapas abaixo:

Siga as instruções na tela para baixar e instalar o Winfsp.

Neste exemplo, o winfsp-1.12.22339 é baixado. Para obtê-lo, acesse WinFsp 2023t.
Baixe o Rclone.

Neste exemplo, o rclone-v1.60.1-windows-amd64 é baixado. Para obtê-lo, acesse Downloads. O Rclone é um programa de linha de comando; após baixar o pacote de instalação, basta descompactá-lo em um diretório local, como D:\Rclone.
Configure o Rclone.
1. Adicione D:\Rclone às variáveis de ambiente.
2. Abra uma interface de linha de comando (CLI), insira rclone --version e pressione Enter.
  
  Se rclone 1.60.1 for retornado, o Rclone está instalado corretamente.
3. Insira o comando rclone config e pressione Enter.
4. Insira n, pressione Enter e crie um novo remote.
  
  Neste exemplo, o novo remote é nomeado test-remote.
5. Insira um nome de disco, como oss-disk, e pressione Enter.
6. Selecione a opção que contém Amazon S3 Compliant Storage ou insira 5 e pressione Enter.
7. Selecione a opção que contém Alibaba Cloud Object Storage System (OSS) ou insira 2 e pressione Enter.
8. Quando env_auth> for exibido na CLI, pressione Enter.
9. Quando access_key_id> for exibido na CLI, insira o AccessKey ID usado para acessar o OSS e pressione Enter.
10. Quando secret_access_key> for exibido na CLI, insira o AccessKey secret usado para acessar o OSS e pressione Enter.
11. Quando endpoint> for exibido na CLI, insira o endpoint usado para acessar o OSS e pressione Enter.
  
  Por exemplo, se o bucket estiver na região China (Hangzhou), defina o endpoint como oss-cn-hangzhou.aliyuncs.com. Se uma instância do ECS com Windows estiver na mesma região do bucket do OSS, use o endpoint interno oss-cn-hangzhou-internal.aliyuncs.com para acessar o bucket a partir da instância.
12. Quando acl> for exibido na CLI, selecione a lista de controle de acesso (ACL) do objeto e pressione Enter.
  
  Esta opção se aplica apenas a objetos recém-enviados. Selecione a ACL do objeto conforme suas necessidades. Neste exemplo, insira 1 para definir a ACL do objeto como default, que indica que a ACL é privada.
13. Quando storage_class> for exibido na CLI, selecione a classe de armazenamento do objeto e pressione Enter.
  
  Neste exemplo, insira 1 para definir a classe de armazenamento como default, que indica que a classe é herdada do bucket.
14. Quando Edit advanced config?(y/n) for exibido na CLI, insira n e pressione Enter.
15. Insira q para concluir as configurações.
Monte o bucket.

O código de exemplo a seguir demonstra como montar um bucket chamado examplebucket em E: usando D:\disk-cache como diretório de cache:
```
rclone mount oss-disk:/examplebucket E: --cache-dir D:\disk-cache --vfs-cache-mode writes
```
Se a mensagem "The service rclone has been started" for retornada, o examplebucket foi montado em E: e você poderá visualize examplebucket(E:).