exploram os comandos Hadoop HDFS mais essenciais e frequentemente usados para realizar operações de arquivos no armazenamento mais confiável do mundo.
Hadoop HDFS é um sistema de arquivos distribuídos que oferece espaço de armazenamento redundante para arquivos com tamanhos enormes. É usado para armazenar arquivos que estão na gama de terabytes a petabytes.Stay updated with latest technology trends Join DataFlair on Telegram!!
Hadoop comandos HDFS
com a ajuda do comando HDFS, podemos efectuar operações de ficheiros Hadoop HDFS como alterar as permissões do ficheiro, ver o conteúdo do ficheiro, criar ficheiros ou directórios, copiar o ficheiro/directório do sistema de ficheiros local para HDFS ou vice-versa, etc.
Antes de começar com o comando HDFS, temos que iniciar os Serviços Hadoop. Para iniciar os Serviços Hadoop fazer o seguinte:
1. Mover para a pasta ~/hadoop-3.1.2
2. Iniciar o serviço Hadoop usando o comando
sbin/start-dfs.sh
neste tutorial de comandos Hadoop, mencionamos os comandos HDFS top 10 com o seu uso, exemplos e descrição.
vamos agora começar com os comandos HDFS.
version
Hadoop HDFS version Command Usage:
version
Hadoop HDFS version Command Example:
Antes de trabalhar com HDFS você precisa implantar Hadoop, siga este guia para instalar e configurar Hadoop 3.
hadoop version
Hadoop HDFS version Command Description:
the Hadoop fs shell command version imprime a versão Hadoop.
mkdir
Hadoop HDFS mkdir Command Usage:
hadoop fs –mkdir /path/directory_name
Hadoop HDFS mkdir Command Example 1:
neste exemplo, estamos a tentar criar uma pasta chamada newDataFlair em HDFS usando o comando mkdir.
Usando o comando ls, podemos verificar as pastas em HDFS.
Exemplo 2:
o Hadoop HDFS Comando mkdir Descrição:
Este comando cria o diretório no HDFS se ele já não existir.
Nota: Se o diretório já existe em HDFS, então vamos obter uma mensagem de erro que o arquivo já existe.
Use hadoop fs mkdir-p/path / directoryname, de modo a não falhar mesmo que o directório exista.
aprenda várias características de Hadoop HDFS a partir deste guia de características HDFS.
ls
Hadoop HDFS Command Usage:
hadoop fs -ls /path
Hadoop HDFS Command Example 1:
aqui no exemplo abaixo, estamos usando o comando ls para alistar os arquivos e diretórios presentes em HDFS.
Hadoop HDFS Command Description:
the Hadoop fs shell command ls displays a list of the contents of a directory specified in the path provided by the user. Ele mostra o nome, permissões, dono, tamanho e data de modificação para cada arquivo ou diretórios no diretório especificado.
o Hadoop HDFS Comando ls Exemplo 2:
o Hadoop HDFS ls Descrição:
Este Hadoop fs comando se comporta como -ls, mas recursivamente exibe entradas em todos os subdiretórios de um caminho.
put
Hadoop HDFS put Command Usage:
haoop fs -put <localsrc> <dest>
Hadoop HDFS put Command Example:
aqui neste exemplo, estamos a tentar copiar localfile1 do sistema de ficheiros local para o sistema de ficheiros Hadoop.
o Hadoop HDFS Comando put Descrição:
O Hadoop fs comando do shell de colocar é semelhante à copyFromLocal, que copia arquivos ou diretório do sistema de arquivos local do destino no Hadoop, o sistema de ficheiros.
copyFromLocal
Hadoop HDFS copyFromLocal Command Usage:
hadoop fs -copyFromLocal <localsrc> <hdfs destination>
Hadoop HDFS copyFromLocal Command Example:
aqui no exemplo abaixo, estamos tentando copiar o arquivo ‘test1’ presente no sistema de arquivos local para o diretório newDataFlair de Hadoop.
o Hadoop HDFS copyFromLocal Comando Descrição:
Este comando copia o arquivo do sistema de arquivos local para HDFS.
Aprenda os internos da operação de leitura de dados HDFS, como os dados fluem em HDFS enquanto lêem o arquivo.
alguma dúvida ainda nos comandos HDFS do Hadoop? comentar.
get
Hadoop HDFS get Command Usage:
hadoop fs -get <src> <localdest>
Hadoop HDFS get Command Example:
neste exemplo, estamos tentando copiar o ‘testfile’ do sistema de arquivos hadoop para o sistema de arquivos local.
Hadoop HDFS get Command Description:
The Hadoop FS shell command get copies the file or directory from the Hadoop file system to the local file system.
Learn: Rack de Consciência, de Alta Disponibilidade
copyToLocal
o Hadoop HDFS copyToLocal o Uso do Comando:
hadoop fs -copyToLocal <hdfs source> <localdst>
o Hadoop HDFS copyToLocal Exemplo de Comando:
Aqui neste exemplo, estamos tentando copiar o ‘exemplo’ arquivo presente no newDataFlair diretório do HDFS para o sistema de arquivos local.
podemos verificar se o ficheiro é copiado ou não usando o comando ls.
Hadoop HDFS copyToLocal Description:
copytolocal command copies the file from HDFS to the local file system.
cat
o Hadoop HDFS gato Uso do Comando:
hadoop fs –cat /path_to_file_in_hdfs
o Hadoop HDFS Comando cat Exemplo:
neste exemplo, estamos usando o comando cat para visualizar o conteúdo do ‘exemplo’ arquivo presente no newDataFlair diretório do HDFS.
Hadoop HDFS cat Command Description:
o comando cat lê o ficheiro em HDFS e mostra o conteúdo do ficheiro na consola ou stdout.
mv
Hadoop HDFS MV Command Usage:
hadoop fs -mv <src> <dest>
Hadoop HDFS MV Command Example:
neste exemplo, temos uma pasta ‘DR1’ em HDFS. Estamos usando o comando mv para mover o diretório DR1 para o diretório DataFlair em HDFS.
Hadoop HDFS MV Command Description:
o comando HDFS mv move os arquivos ou diretórios da fonte para um destino dentro de HDFS.
cp
o Hadoop HDFS cp Uso do Comando:
hadoop fs -cp <src> <dest>
o Hadoop HDFS Comando cp Exemplo:
No exemplo abaixo estamos copiando o “arquivo1” presentes no newDataFlair diretório no HDFS para o dataflair diretório do HDFS.
Hadoop HDFS CP Command Description:
o comando cp copia um ficheiro de uma pasta para outra pasta dentro do HDFS.
então tudo isto estava nos comandos HDFS do Hadoop. Espero que gostes.
What’s Next
- Hadoop HDFS Commands Part-II
- Hadoop HDFS Commands Part-III