Os 10 comandos Hadoop HDFS com exemplos e uso

exploram os comandos Hadoop HDFS mais essenciais e frequentemente usados para realizar operações de arquivos no armazenamento mais confiável do mundo.

Hadoop HDFS é um sistema de arquivos distribuídos que oferece espaço de armazenamento redundante para arquivos com tamanhos enormes. É usado para armazenar arquivos que estão na gama de terabytes a petabytes.Stay updated with latest technology trends Join DataFlair on Telegram!!

Hadoop comandos HDFS

com a ajuda do comando HDFS, podemos efectuar operações de ficheiros Hadoop HDFS como alterar as permissões do ficheiro, ver o conteúdo do ficheiro, criar ficheiros ou directórios, copiar o ficheiro/directório do sistema de ficheiros local para HDFS ou vice-versa, etc.

Antes de começar com o comando HDFS, temos que iniciar os Serviços Hadoop. Para iniciar os Serviços Hadoop fazer o seguinte:

1. Mover para a pasta ~/hadoop-3.1.2

2. Iniciar o serviço Hadoop usando o comando

sbin/start-dfs.sh

neste tutorial de comandos Hadoop, mencionamos os comandos HDFS top 10 com o seu uso, exemplos e descrição.

vamos agora começar com os comandos HDFS.

hadoop hdfs commands

version

Hadoop HDFS version Command Usage:

version

Hadoop HDFS version Command Example:

Antes de trabalhar com HDFS você precisa implantar Hadoop, siga este guia para instalar e configurar Hadoop 3.

hadoop version

version command - HDFS commands

Hadoop HDFS version Command Description:

the Hadoop fs shell command version imprime a versão Hadoop.

mkdir

Hadoop HDFS mkdir Command Usage:

hadoop fs –mkdir /path/directory_name

Hadoop HDFS mkdir Command Example 1:

neste exemplo, estamos a tentar criar uma pasta chamada newDataFlair em HDFS usando o comando mkdir.

mkdir command-HDFS commands

Usando o comando ls, podemos verificar as pastas em HDFS.

ls commad verificar directory - HDFS comandos

Exemplo 2:

mkdir com opção p - HDFS comandos

o Hadoop HDFS Comando mkdir Descrição:

Este comando cria o diretório no HDFS se ele já não existir.

Nota: Se o diretório já existe em HDFS, então vamos obter uma mensagem de erro que o arquivo já existe.

Use hadoop fs mkdir-p/path / directoryname, de modo a não falhar mesmo que o directório exista.

aprenda várias características de Hadoop HDFS a partir deste guia de características HDFS.

ls

Hadoop HDFS Command Usage:

hadoop fs -ls /path

Hadoop HDFS Command Example 1:

aqui no exemplo abaixo, estamos usando o comando ls para alistar os arquivos e diretórios presentes em HDFS.

ls command-HDFS commands

Hadoop HDFS Command Description:

the Hadoop fs shell command ls displays a list of the contents of a directory specified in the path provided by the user. Ele mostra o nome, permissões, dono, tamanho e data de modificação para cada arquivo ou diretórios no diretório especificado.

o Hadoop HDFS Comando ls Exemplo 2:

ls com R HDFS comandos

o Hadoop HDFS ls Descrição:

Este Hadoop fs comando se comporta como -ls, mas recursivamente exibe entradas em todos os subdiretórios de um caminho.

put

Hadoop HDFS put Command Usage:

haoop fs -put <localsrc> <dest>

Hadoop HDFS put Command Example:

aqui neste exemplo, estamos a tentar copiar localfile1 do sistema de ficheiros local para o sistema de ficheiros Hadoop.

comando put - HDFS comandos

verificando-para-arquivo-copyfromlocal - HDFS comandos

o Hadoop HDFS Comando put Descrição:

O Hadoop fs comando do shell de colocar é semelhante à copyFromLocal, que copia arquivos ou diretório do sistema de arquivos local do destino no Hadoop, o sistema de ficheiros.

copyFromLocal

Hadoop HDFS copyFromLocal Command Usage:

hadoop fs -copyFromLocal <localsrc> <hdfs destination>

Hadoop HDFS copyFromLocal Command Example:

aqui no exemplo abaixo, estamos tentando copiar o arquivo ‘test1’ presente no sistema de arquivos local para o diretório newDataFlair de Hadoop.

copyFromLocal de comando HDFS comandos

showingcontentofcopiedfile - HDFS comandos

o Hadoop HDFS copyFromLocal Comando Descrição:

Este comando copia o arquivo do sistema de arquivos local para HDFS.

Aprenda os internos da operação de leitura de dados HDFS, como os dados fluem em HDFS enquanto lêem o arquivo.

alguma dúvida ainda nos comandos HDFS do Hadoop? comentar.

get

Hadoop HDFS get Command Usage:

hadoop fs -get <src> <localdest>

Hadoop HDFS get Command Example:

neste exemplo, estamos tentando copiar o ‘testfile’ do sistema de arquivos hadoop para o sistema de arquivos local.

Hadoop HDFS get Command Description:
The Hadoop FS shell command get copies the file or directory from the Hadoop file system to the local file system.

checking for file copied from hadoop-HDFS commands

Learn: Rack de Consciência, de Alta Disponibilidade

copyToLocal

o Hadoop HDFS copyToLocal o Uso do Comando:

hadoop fs -copyToLocal <hdfs source> <localdst>

o Hadoop HDFS copyToLocal Exemplo de Comando:

Aqui neste exemplo, estamos tentando copiar o ‘exemplo’ arquivo presente no newDataFlair diretório do HDFS para o sistema de arquivos local.

comando copyToLocal-comandos HDFS

podemos verificar se o ficheiro é copiado ou não usando o comando ls.

checking file copiedtolocal command-HDFS commands

Hadoop HDFS copyToLocal Description:

copytolocal command copies the file from HDFS to the local file system.

cat

o Hadoop HDFS gato Uso do Comando:

hadoop fs –cat /path_to_file_in_hdfs

o Hadoop HDFS Comando cat Exemplo:

neste exemplo, estamos usando o comando cat para visualizar o conteúdo do ‘exemplo’ arquivo presente no newDataFlair diretório do HDFS.

cat command-HDFS commands

Hadoop HDFS cat Command Description:

o comando cat lê o ficheiro em HDFS e mostra o conteúdo do ficheiro na consola ou stdout.

mv

Hadoop HDFS MV Command Usage:

hadoop fs -mv <src> <dest>

Hadoop HDFS MV Command Example:

neste exemplo, temos uma pasta ‘DR1’ em HDFS. Estamos usando o comando mv para mover o diretório DR1 para o diretório DataFlair em HDFS.

MV-command-HDFS-commands

Hadoop HDFS MV Command Description:

o comando HDFS mv move os arquivos ou diretórios da fonte para um destino dentro de HDFS.

cp

o Hadoop HDFS cp Uso do Comando:

hadoop fs -cp <src> <dest>

o Hadoop HDFS Comando cp Exemplo:

No exemplo abaixo estamos copiando o “arquivo1” presentes no newDataFlair diretório no HDFS para o dataflair diretório do HDFS.

CP command - HDFS commands

Hadoop HDFS CP Command Description:

o comando cp copia um ficheiro de uma pasta para outra pasta dentro do HDFS.

então tudo isto estava nos comandos HDFS do Hadoop. Espero que gostes.

What’s Next

  • Hadoop HDFS Commands Part-II
  • Hadoop HDFS Commands Part-III

Deixe uma resposta

O seu endereço de email não será publicado. Campos obrigatórios marcados com *