Topp 10 Hadoop HDFS-kommandon med exempel och användning

utforska de viktigaste och ofta använda Hadoop HDFS-kommandona för att utföra filoperationer på världens mest tillförlitliga Lagring.

Hadoop HDFS är ett distribuerat filsystem som ger redundant lagringsutrymme för filer med stora storlekar. Den används för att lagra filer som ligger i intervallet terabyte till petabyte.

Hadoop HDFS-kommandon

med hjälp av HDFS-kommandot kan vi utföra Hadoop HDFS-filoperationer som att ändra filbehörigheterna, visa filinnehållet, skapa filer eller kataloger, kopiera fil/katalog från det lokala filsystemet till HDFS eller vice versa, etc.

innan vi börjar med HDFS-kommandot måste vi starta Hadoop-tjänsterna. För att starta Hadoop-tjänsterna gör du följande:

1. Flytta till katalogen ~/hadoop-3.1.2

2. Starta Hadoop-tjänsten med kommandot

sbin/start-dfs.sh

i denna Hadoop-Kommandotutorial har vi nämnt de 10 bästa Hadoop HDFS-kommandona med deras användning, exempel och beskrivning.

Låt oss nu börja med HDFS-kommandona.

version

Hadoop HDFS Versionskommandoanvändning:

version

Hadoop HDFS versionskommandoexempel:

innan du arbetar med HDFS måste du distribuera Hadoop, följ den här guiden för att installera och konfigurera Hadoop 3.

hadoop version

Hadoop HDFS Versionskommandobeskrivning:

Hadoop FS shell command-versionen skriver ut Hadoop-versionen.

mkdir

Hadoop HDFS mkdir-Kommandoanvändning:

hadoop fs –mkdir /path/directory_name

Hadoop HDFS mkdir-Kommandoexempel 1:

i det här exemplet försöker vi skapa en newdataflair-namngiven katalog i HDFS med mkdir-kommandot.

med ls-kommandot kan vi söka efter katalogerna i HDFS.

exempel 2:

Hadoop HDFS mkdir-Kommandobeskrivning:

detta kommando skapar katalogen i HDFS om den inte redan finns existerar.

Obs: Om katalogen redan finns i HDFS får vi ett felmeddelande om att filen redan finns.

använd hadoop FS mkdir-p / path / directoryname, så att inte misslyckas även om Katalogen finns.

lär dig olika funktioner i Hadoop HDFS från denna HDFS features guide.

ls

Hadoop HDFS ls-Kommandoanvändning:

hadoop fs -ls /path

Hadoop HDFS ls-Kommandoexempel 1:

här i exemplet nedan använder vi kommandot ls för att värva filerna och katalogerna som finns i HDFS.

Hadoop HDFS ls Command Description:

Hadoop FS shell command ls visar en lista över innehållet i en katalog som anges i sökvägen som tillhandahålls av användaren. Den visar namn, behörigheter, ägare, storlek och ändringsdatum för varje fil eller kataloger i den angivna katalogen.

Hadoop HDFS ls-kommando exempel 2:

Hadoop HDFS ls beskrivning:

detta Hadoop fs-kommando beter sig som-ls, men visar rekursivt poster i alla underkataloger i en sökväg.

put

Hadoop HDFS put Command Usage:

haoop fs -put <localsrc> <dest>

Hadoop HDFS put Command Example:

här i det här exemplet försöker vi kopiera localfile1 av det lokala filsystemet till Hadoop-filsystemet.

Hadoop HDFS put Command beskrivning:

Hadoop FS shell command put liknar copyFromLocal, som kopierar filer eller katalog från det lokala filsystemet till destinationen i Hadoop-filsystemet.

copyFromLocal

Hadoop HDFS copyFromLocal kommando användning:

hadoop fs -copyFromLocal <localsrc> <hdfs destination>

Hadoop HDFS copyFromLocal kommando exempel:

här i exemplet nedan försöker vi kopiera ’test1’ – filen som finns i det lokala filsystemet till newDataFlair-katalogen i Hadoop.

Hadoop HDFS copyFromLocal Command Description:

detta kommando kopierar filen från det lokala filsystemet till HDFS.

lär dig interna HDFS-Dataläsningsoperation, hur Data flyter i HDFS medan du läser filen.

någon tvekan ännu i Hadoop HDFS kommandon? kommentera.

get

Hadoop HDFS get Command Usage:

hadoop fs -get <src> <localdest>

Hadoop HDFS get Command Example:

i det här exemplet försöker vi kopiera ”testfilen” för Hadoop-filsystemet till det lokala filsystemet.

Hadoop HDFS get Command Description:
Hadoop FS shell command get kopierar filen eller Katalogen från Hadoop-filsystemet till det lokala filsystemet.

lär dig: Rackmedvetenhet, hög tillgänglighet

copyToLocal

Hadoop HDFS copyToLocal Command Usage:

hadoop fs -copyToLocal <hdfs source> <localdst>

Hadoop HDFS copyToLocal Command Example:

här i det här exemplet försöker vi kopiera ”exempelfilen” som finns i NEWDATAFLAIR-katalogen för HDFS till det lokala filsystemet.

Vi kan kontrollera om filen kopieras eller inte använder ls-kommandot.

Hadoop HDFS copyToLocal beskrivning:

copyToLocal-kommandot kopierar filen från HDFS till det lokala filsystemet.

cat

Hadoop HDFS cat Command Usage:

hadoop fs –cat /path_to_file_in_hdfs

Hadoop HDFS cat Command exempel:

här i det här exemplet använder vi kommandot cat för att visa innehållet i ”sample” – filen som finns i NEWDATAFLAIR-katalogen för HDFS.

Hadoop HDFS cat Command beskrivning:

cat-kommandot läser filen i HDFS och visar innehållet i filen på konsolen eller stdout.

MV

Hadoop HDFS MV-Kommandoanvändning:

hadoop fs -mv <src> <dest>

Hadoop HDFS MV-Kommandoexempel:

i det här exemplet har vi en katalog ” DR1 ” i HDFS. Vi använder MV-kommandot för att flytta DR1-katalogen till DataFlair-katalogen i HDFS.

Hadoop HDFS MV Command Description:

HDFS MV-kommandot flyttar filerna eller katalogerna från källan till en destination inom HDFS.

CP

Hadoop HDFS CP-Kommandoanvändning:

hadoop fs -cp <src> <dest>

Hadoop HDFS CP-Kommandoexempel:

i exemplet nedan kopierar vi ”file1” som finns i newdataflair-katalogen i HDFS till DATAFLAIR-katalogen för HDFS.

Hadoop HDFS CP kommando beskrivning:

cp kommandot kopierar en fil från en katalog till en annan katalog inom HDFS.

så det här var allt på Hadoop HDFS-kommandon. Hoppas du gillar det.

What’s Next

• Hadoop HDFS Commands Part-II
• Hadoop HDFS Commands Part-III