E-MapReduce:Guia do usuário da Jindo CLI

Ferramenta

Finalidade

jindo fs

Operações de sistema de arquivos em caminhos do OSS e OSS-HDFS

jindo admin

Comandos de administração para aceleração de armazenamento JindoFSx e OSS-HDFS

jindo dlsadmin

Inspeção avançada de metadados e armazenamento para OSS-HDFS

Comando

Sinopse

Descrição

Armazenamento

archive

`jindo fs -archive [-i

-c] oss:///

Defina a classe de armazenamento de objetos do OSS. A classe de destino padrão é Archive. Use -i para Infrequent Access (IA) ou -c para Cold Archive.

OSS

cat

jindo fs -cat oss://<bucket>/<path>

Exibe o conteúdo de texto de um arquivo.

OSS e OSS-HDFS

checkStoragePolicy

jindo fs -checkStoragePolicy -path oss://<bucket>/<dir>

Consulta a política de armazenamento aplicada a um caminho.

OSS-HDFS

checksum

jindo fs -checksum oss://<bucket>/<path>

Calcula o checksum CRC32 de um arquivo. Disponível apenas no OSS-HDFS, pois este armazena metadados de arquivo compatíveis com POSIX.

OSS-HDFS

chgrp

jindo fs -chgrp <groupname> oss://<bucket>/<dir>

Altera a propriedade de grupo de um arquivo ou diretório. Disponível apenas no OSS-HDFS, já que o OSS não possui modelo de permissão POSIX.

OSS-HDFS

chmod

jindo fs -chmod <mode> oss://<bucket>/<dir>

Modifica as permissões de acesso de um arquivo ou diretório. Restrito ao OSS-HDFS, dado que o OSS não utiliza modelo de permissão POSIX.

OSS-HDFS

chown

jindo fs -chown <username> oss://<bucket>/<dir>

Altera o proprietário de um arquivo ou diretório. Aplicável somente ao OSS-HDFS, pois o OSS não tem modelo de permissão POSIX.

OSS-HDFS

copyFromLocal

jindo fs -copyFromLocal [-f] <localdir> oss://<bucket>/<targetdir>

Copia arquivos da máquina local para um bucket do OSS. Utilize -f para sobrescrever arquivos existentes no destino. Sem a opção -f, o comando falha se já existir um arquivo com o mesmo nome.

OSS e OSS-HDFS

copyToLocal

jindo fs -copyToLocal [-f] oss://<bucket>/<dir> <localdir>

Copia arquivos de um bucket do OSS para a máquina local. Adicione -f para substituir arquivos locais existentes. Caso omita -f, a operação falhará ao encontrar um arquivo local com nome idêntico.

OSS e OSS-HDFS

count

jindo fs -count [-h] oss://<bucket>/<dir>

Mostra a quantidade de arquivos e o tamanho total de um diretório. Empregue -h para exibir tamanhos em unidades legíveis (KB, MB, GB).

OSS e OSS-HDFS

cp

jindo fs -cp [-f] oss://<bucket>/<sourcedir> oss://<bucket>/<targetdir>

Copia arquivos entre caminhos do OSS. Inclua -f para sobrescrever arquivos no destino. Na ausência de -f, o comando retorna erro se houver arquivo com o mesmo nome.

OSS e OSS-HDFS

createSnapshot

jindo fs -createSnapShot <snapshotDir> [<snapshotName>]

Cria um snapshot de um diretório. É necessária autorização prévia para uso de snapshots antes de executar este comando.

OSS e OSS-HDFS

deleteSnapshot

jindo fs -deleteSnapshot oss://<bucket>/<dir> <snapshotName>

Exclua um snapshot nomeado de um diretório.

OSS-HDFS

du

jindo fs -du [-s] [-h] oss://<bucket>/<dir>

Exibe o tamanho de cada arquivo em um diretório. Use -s para mostrar o total agregado em vez dos tamanhos individuais. Ative -h para unidades legíveis por humanos.

OSS e OSS-HDFS

get

jindo fs -get [-f] oss://<bucket>/<dir> <localdst>

Baixa arquivos do OSS para a máquina local. Especifique -f para sobrescrever arquivos locais existentes. Sem -f, o comando falha caso exista um arquivo local com o mesmo nome.

OSS e OSS-HDFS

getfacl

jindo fs -getfacl [-R] oss://<bucket>/<dir>

Consulta a lista de controle de acesso (ACL) de um arquivo ou diretório. Aplique -R para exibir recursivamente as entradas de ACL de todos os arquivos na árvore de diretórios.

OSS-HDFS

getfattr

`jindo fs -getfattr [-R] {-n user.

-d} oss:///

Recupera atributos estendidos de um arquivo ou diretório. Utilize -n para obter um atributo específico pelo nome, ou -d para listar todos os atributos estendidos. Adicione -R para exibição recursiva.

OSS-HDFS

getStoragePolicy

jindo fs -getStoragePolicy -path oss://<bucket>/<dir>

Verifica a política de armazenamento atribuída a um caminho.

OSS-HDFS

listPolicies

jindo fs -listPolicies

Lista todas as políticas de armazenamento compatíveis com o OSS-HDFS.

OSS-HDFS

load

jindo fs -load [-meta] [-data] [-s] [-m] [-R] [-replica <count>] oss://<bucket>/<dir>

Armazena dados do OSS nos discos locais de um cluster JindoFSx, permitindo que leituras subsequentes sejam atendidas localmente em vez de acessar o OSS. Configure -s para modo síncrono com exibição de progresso. Use -R quando o caminho alvo for um diretório. Defina -replica <count> para armazenar múltiplas réplicas em cache (padrão: 1).

JindoFSx

ls

jindo fs -ls [-R] oss://<bucket>/<dir>

Lista arquivos em um diretório. Ative -R para listar recursivamente todos os arquivos nos subdiretórios.

OSS e OSS-HDFS

metaDiff

jindo fs -metaDiff oss://<bucket>/<srcdir>

Verifica o status de sincronização entre metadados locais e remotos em uma configuração de aceleração baseada em cache.

OSS e OSS-HDFS

mkdir

jindo fs -mkdir oss://<bucket>/<dir>

Cria um diretório.

OSS e OSS-HDFS

moveFromLocal

jindo fs -moveFromLocal <localsrc> oss://<bucket>/<dstdir>

Move um arquivo da máquina local para um caminho remoto. O arquivo local é excluído após a conclusão da transferência.

OSS e OSS-HDFS

moveToLocal

jindo fs -moveToLocal oss://<bucket>/<srcdir> <localdst>

Transfere um arquivo de um caminho remoto para a máquina local. O arquivo remoto é removido ao final da transferência.

OSS e OSS-HDFS

mv

jindo fs -mv oss://<bucket>/<srcdir> oss://<bucket>/<dstdir>

Move um arquivo entre caminhos do OSS.

OSS e OSS-HDFS

put

jindo fs -put [-f] <localsrc> oss://<bucket>/<targetdir>

Copia um arquivo da máquina local para um diretório remoto. Utilize -f para substituir arquivos existentes no destino. Sem -f, a execução falha se já existir um arquivo com o mesmo nome.

OSS e OSS-HDFS

renameSnapshot

jindo fs -renameSnapshot oss://<bucket>/<dir> <newName>

Renomeia um snapshot.

OSS-HDFS

restore

jindo fs -restore -days <count> oss://<bucket>/<dir>

Restaura arquivos do armazenamento Archive ou Cold Archive. Arquivos nos estados Cold Archive ou Archive devem ser restaurados antes do desarquivamento. Use -days para definir o número de dias durante os quais os arquivos permanecem restaurados.

OSS

rm

`jindo fs -rm [-f] [-r

-R

-rmr] oss:///

Exclui arquivos ou diretórios. Adicione -f para suprimir mensagens de erro caso o caminho não exista. Empregue -r, -R ou -rmr para exclusão recursiva de diretórios.

OSS e OSS-HDFS

rmdir

jindo fs -rmdir oss://<bucket>/<dir>

Remove um diretório.

OSS e OSS-HDFS

setfacl

`jindo fs -setfacl {-b

-k

-m

-x

-set } oss:///

Configura a ACL de um arquivo ou diretório. Disponível apenas para usuários na lista de permissões. Opções: -b remove todas as entradas de ACL, -k exclui entradas padrão de ACL, -m adiciona ou modifica entradas por nome, -x remove entradas por nome, e -set substitui a ACL completa.

OSS-HDFS

setfattr

`jindo fs -setfattr {-n [-v ]

-x } oss:///

Defina ou remova atributos estendidos em um arquivo ou diretório. Combine -n com -v para estabelecer um valor de atributo, ou use -x para excluir um atributo pelo nome.

OSS-HDFS

setStoragePolicy

jindo fs -setStoragePolicy -path oss://<bucket>/<dir> -policy <policy>

Atribui uma política de armazenamento a um caminho. Se nenhuma política for definida em um arquivo ou subdiretório, ele herda a política do diretório pai. Valores válidos para -policy: CLOUD_STD (Standard), CLOUD_IA (Infrequent Access), CLOUD_AR (Archive), CLOUD_COLD_AR (Cold Archive).

OSS-HDFS

stat

jindo fs -stat oss://<bucket>/<dir>

Consulta o status do arquivo.

OSS e OSS-HDFS

sync

jindo fs -sync [-update] [-thread <thread_num>] <localsrc> oss://<bucket>/<dir>

Envia arquivos da máquina local para um caminho remoto. Atualize -update para ignorar arquivos que já existem no destino e não foram alterados (upload retomável). Sem -update, todos os arquivos são enviados incondicionalmente. Configure -thread para definir o número de threads de upload.

OSS e OSS-HDFS

test

`jindo fs -test {-d

-e

-f

-s

-z} oss:///

Testa propriedades de arquivos ou diretórios. Opções: -d verifica se o caminho é um diretório, -e confirma a existência do caminho, -f checa se o caminho é um arquivo, -s valida se o caminho não está vazio, e -z testa se o tamanho do arquivo é zero.

OSS e OSS-HDFS

touchz

jindo fs -touchz oss://<bucket>/<path>

Cria um arquivo vazio (0 bytes).

OSS e OSS-HDFS

truncate

jindo fs -truncate <length> oss://<bucket>/<dir>

Trunca um arquivo para o tamanho especificado. Exclusivo do OSS-HDFS.

OSS-HDFS

unarchive

jindo fs -unarchive oss://<bucket>/<dir>

Restaura arquivos arquivados ou cold-archived para a classe de armazenamento Standard. Esta operação destina-se especificamente a arquivos arquivados e cold-archived.

OSS

uncache

jindo fs -uncache oss://<bucket>/<dir>

Remove arquivos em cache do JindoFSx.

OSS e OSS-HDFS

unsetStoragePolicy

jindo fs -unsetStoragePolicy -path oss://<bucket>/<dir>

Desativa uma política de armazenamento.

OSS-HDFS

Comando

Sinopse

Descrição

Armazenamento

addProxyUser

`jindo dlsadmin -addProxyUser -dlsUri oss:// -proxyUser -users

-groups -hosts `

Adiciona um usuário proxy e defina quais usuários, grupos ou hosts ele pode representar.

OSS-HDFS

addUserGroupsMapping

jindo admin -addUserGroupsMapping -dlsUri oss://<bucket> <path> -user <value> -groups <value>

Cria um mapeamento entre um usuário e seus grupos de usuários.

OSS-HDFS

allowSnapshot

jindo admin -allowSnapshot -dlsUri oss://<bucket>/<dir>

Habilita o suporte a snapshots em um diretório. Execute este comando antes de criar snapshots com jindo fs -createSnapShot.

OSS-HDFS

deleteProxyUser

`jindo admin -deleteProxyUser -dlsUri oss:///

-groups -hosts `

Exclua uma configuração de usuário proxy.

OSS-HDFS

deleteUserGroupsMapping

jindo admin -deleteUserGroupsMapping -dlsUri oss://<bucket> -user <value>

Exclui o mapeamento de grupos para um usuário especificado.

OSS-HDFS

disallowSnapshot

jindo admin -disallowSnapshot -dlsUri oss://<bucket>/<dir>

Desabilita o suporte a snapshots em um diretório.

OSS-HDFS

listAccessPolicies

jindo admin -listAccessPolicies <dlsRootPath>

Lista todos os caminhos de acesso configurados para um bucket.

OSS-HDFS

listProxyUsers

jindo admin -listProxyUsers -dlsUri oss://<bucket> [-maxKeys <value>] [-marker <value>]

Relaciona usuários proxy de um bucket. Limite o número de resultados com -maxKeys. Navegue pelas páginas de resultados usando -marker.

OSS-HDFS

listUserGroupsMappings

jindo admin -listUserGroupsMappings -dlsUri oss://<bucket> [-maxKeys <value>] [-marker <value>]

Exibe todos os mapeamentos de grupos de usuários para um bucket. Restrinja a quantidade de resultados via -maxKeys. Paginação disponível através de -marker.

OSS-HDFS

mount

jindo admin -mount <localdir> oss://<bucket>/<dir>

Monta um caminho do OSS ou OSS-HDFS em um diretório local.

OSS e OSS-HDFS

report

jindo admin -report

Apresenta informações do sistema de aceleração de armazenamento JindoFSx, incluindo tamanho e capacidade do cache.

OSS e OSS-HDFS

reportMetrics

jindo admin -reportMetrics

Exibe métricas do sistema de aceleração de armazenamento JindoFSx.

OSS e OSS-HDFS

setRootPolicy

jindo admin -setRootPolicy <dlsRootPath> <accessRootPath>

Configura um prefixo de caminho de acesso personalizado para um bucket.

OSS-HDFS

snapshotDiff

jindo admin -snapshotDiff -dlsUri oss://<bucket>/<dir> -fromSnapshot <value> -toSnapshot <value>

Mostra as diferenças entre dois snapshots de um diretório.

OSS-HDFS

umount

jindo fsxadmin -unmount <localdir>

Desmonta um diretório local montado anteriormente.

OSS e OSS-HDFS

unsetRootPolicy

jindo admin -unsetRootPolicy <dlsRootPath> <accessRootPath>

Remove um prefixo de caminho de acesso personalizado de um bucket.

OSS-HDFS

Comando

Sinopse

Descrição

Armazenamento

dumpBlockFiles

jindo dlsadmin -dumpBlockFiles -in oss://<bucket>/<dir> -out <localdir>

Baixa todos os arquivos de um diretório OSS-HDFS especificado para um diretório local.

OSS-HDFS

dumpFile

jindo dlsadmin -dumpFile -dlsUri oss://<bucket>/<dir>

Exibe informações detalhadas de armazenamento sobre um arquivo, incluindo layout de blocos e metadados.

OSS-HDFS

dumpInventory

jindo dlsadmin -dumpInventory -dlsUri oss://<bucket>/<dir>

Exporta metadados de arquivos de um diretório como um arquivo de inventário.

OSS-HDFS