Top 10 Hadoop HDFS-Befehle mit Beispielen und Verwendung

Entdecken Sie die wichtigsten und am häufigsten verwendeten Hadoop HDFS-Befehle, um Dateioperationen auf dem zuverlässigsten Speicher der Welt auszuführen.

Hadoop HDFS ist ein verteiltes Dateisystem, das redundanten Speicherplatz für Dateien mit großen Größen bietet. Es wird zum Speichern von Dateien verwendet, die im Bereich von Terabyte bis Petabyte liegen.

Bleiben Sie mit den neuesten Technologietrends auf dem Laufenden
Treten Sie DataFlair bei Telegram bei!!

Hadoop HDFS-Befehle

Mit Hilfe des HDFS-Befehls können wir Hadoop HDFS-Dateioperationen ausführen, z. B. das Ändern der Dateiberechtigungen, das Anzeigen des Dateiinhalts, das Erstellen von Dateien oder Verzeichnissen, das Kopieren von Dateien / Verzeichnissen aus dem lokalen Dateisystem in HDFS oder umgekehrt usw.

Bevor wir mit dem Befehl HDFS beginnen, müssen wir die Hadoop-Dienste starten. Um die Hadoop-Dienste zu starten, gehen Sie wie folgt vor:

1. Wechseln Sie in das Verzeichnis ~/hadoop-3.1.2

2. Starten Sie den Hadoop-Dienst mit dem Befehl

sbin/start-dfs.sh

In diesem Tutorial zu Hadoop-Befehlen haben wir die 10 wichtigsten Hadoop HDFS-Befehle mit ihrer Verwendung, ihren Beispielen und ihrer Beschreibung erwähnt.

Lassen Sie uns nun mit den HDFS-Befehlen beginnen.

hadoop hdfs-Befehle

version

Verwendung des Befehls Hadoop HDFS version:

version

Beispiel für den Befehl Hadoop HDFS version:

Bevor Sie mit HDFS arbeiten, müssen Sie Hadoop bereitstellen.Befolgen Sie diese Anleitung, um Hadoop 3 zu installieren und zu konfigurieren.

hadoop version

Versionsbefehl - HDFS-Befehle

Beschreibung des Befehls Hadoop HDFS version:

Die Version des Befehls Hadoop fs shell gibt die Hadoop-Version aus.

mkdir

Hadoop HDFS mkdir-Befehl Verwendung:

hadoop fs –mkdir /path/directory_name

Hadoop HDFS mkdir-Befehl Beispiel 1:

In diesem Beispiel versuchen wir, mit dem Befehl mkdir ein neues Verzeichnis mit dem Namen Dataflair in HDFS zu erstellen.

mkdir-Befehl - HDFS-Befehle

Mit dem Befehl ls können wir nach den Verzeichnissen in HDFS suchen.

ls commad to check directory - HDFS commands

Beispiel 2:

mkdir mit Option p - HDFS commands

Hadoop HDFS mkdir Command Description:

Dieser Befehl erstellt das Verzeichnis in HDFS, falls es noch nicht existiert.

Hinweis: Wenn das Verzeichnis bereits in HDFS vorhanden ist, erhalten wir die Fehlermeldung, dass die Datei bereits vorhanden ist.

Verwenden Sie hadoop fs mkdir -p /path/directoryname , um nicht zu scheitern, auch wenn das Verzeichnis existiert.

In diesem Handbuch zu den HDFS-Funktionen erfahren Sie mehr über die verschiedenen Funktionen von Hadoop HDFS.

ls

Verwendung des Befehls Hadoop HDFS ls:

hadoop fs -ls /path

Hadoop HDFS ls Befehlsbeispiel 1:

Hier im folgenden Beispiel verwenden wir den Befehl ls, um die in HDFS vorhandenen Dateien und Verzeichnisse zu erfassen.

Befehl ls - HDFS-Befehle

Beschreibung des Befehls Hadoop HDFS ls:

Der Shell-Befehl Hadoop fs ls zeigt eine Liste des Inhalts eines Verzeichnisses an, das in dem vom Benutzer angegebenen Pfad angegeben ist. Es zeigt den Namen, die Berechtigungen, den Eigentümer, die Größe und das Änderungsdatum für jede Datei oder jedes Verzeichnis im angegebenen Verzeichnis an.

Hadoop HDFS ls Befehl Beispiel 2:

ls mit R Befehl - HDFS Befehle

Hadoop HDFS ls Beschreibung:

Dieser Hadoop fs Befehl verhält sich wie -ls, zeigt aber rekursiv Einträge in allen Unterverzeichnissen eines Pfades an.

put

Verwendung des Hadoop HDFS put-Befehls:

haoop fs -put <localsrc> <dest>

Hadoop HDFS put-Befehlsbeispiel:

Hier in diesem Beispiel versuchen wir, localfile1 des lokalen Dateisystems in das Hadoop-Dateisystem zu kopieren.

put-Befehl - HDFS-Befehle

checking-for-file-copyfromlocal - HDFS-Befehle

Beschreibung des Hadoop HDFS put-Befehls:

Der Hadoop fs Shell-Befehl put ähnelt dem Befehl copyFromLocal, der Dateien oder Verzeichnisse aus dem lokalen Dateisystem kopiert zum Ziel im Hadoop-Dateisystem.

copyFromLocal

Hadoop HDFS copyFromLocal Befehlsverwendung:

hadoop fs -copyFromLocal <localsrc> <hdfs destination>

Hadoop HDFS copyFromLocal Befehlsbeispiel:

Im folgenden Beispiel versuchen wir, die im lokalen Dateisystem vorhandene ‚test1‘-Datei in das newDataFlair-Verzeichnis von Hadoop zu kopieren.

copyFromLocal-Befehl- HDFS-Befehle

showingcontentofcopiedfile - HDFS-Befehle

Hadoop HDFS copyFromLocal-Befehlsbeschreibung:

Dieser Befehl kopiert die Datei vom lokalen Dateisystem nach HDFS.

Erfahren Sie Interna von HDFS Daten lesen Betrieb, Wie Daten fließt in HDFS beim Lesen der Datei.

Noch Zweifel an Hadoop HDFS-Befehlen? Bitte kommentieren.

get

Hadoop HDFS get-Befehl Verwendung:

hadoop fs -get <src> <localdest>

Hadoop HDFS get-Befehl Beispiel:

In diesem Beispiel versuchen wir, die „Testdatei“ des Hadoop-Dateisystems in das lokale Dateisystem zu kopieren.

Hadoop HDFS get Befehlsbeschreibung:
Der Hadoop fs Shell-Befehl get kopiert die Datei oder das Verzeichnis aus dem Hadoop-Dateisystem in das lokale Dateisystem.

Befehl abrufen - HDFS-Befehle

Überprüfen auf Datei, die von hadoop - HDFS-Befehlen kopiert wurde

Erfahren: Rack Awareness, High Availability

copyToLocal

Hadoop HDFS copyToLocal Verwendung des Befehls:

hadoop fs -copyToLocal <hdfs source> <localdst>

Hadoop HDFS copyToLocal Beispiel:

In diesem Beispiel versuchen wir, die im newDataFlair-Verzeichnis von HDFS vorhandene Beispieldatei in das lokale Dateisystem zu kopieren.

copyToLocal-Befehl - HDFS-Befehle

Mit dem Befehl ls können wir überprüfen, ob die Datei kopiert wurde oder nicht.

checking file copiedtolocal command - HDFS-Befehle

Hadoop HDFS copyToLocal Beschreibung:

copyToLocal Befehl kopiert die Datei von HDFS in das lokale Dateisystem.

cat

Verwendung des Hadoop HDFS cat-Befehls:

hadoop fs –cat /path_to_file_in_hdfs

Hadoop HDFS cat-Befehlsbeispiel:

In diesem Beispiel verwenden wir den Befehl cat, um den Inhalt der „Beispiel“ -Datei im newDataFlair-Verzeichnis von HDFS anzuzeigen.

cat-Befehl - HDFS-Befehle

Hadoop HDFS cat-Befehlsbeschreibung:

Der Befehl cat liest die Datei in HDFS und zeigt den Inhalt der Datei auf der Konsole oder stdout an.

mv

Verwendung des Hadoop HDFS mv-Befehls:

hadoop fs -mv <src> <dest>

Hadoop HDFS mv-Befehlsbeispiel:

In diesem Beispiel haben wir ein Verzeichnis ‚DR1‘ in HDFS. Wir verwenden den Befehl mv, um das Verzeichnis DR1 in das Verzeichnis DataFlair in HDFS zu verschieben.

mv-command-HDFS-commands

Hadoop HDFS mv Befehlsbeschreibung:

Der Befehl HDFS mv verschiebt die Dateien oder Verzeichnisse von der Quelle zu einem Ziel in HDFS.

cp

Verwendung des Hadoop HDFS cp-Befehls:

hadoop fs -cp <src> <dest>

Hadoop HDFS cp-Befehlsbeispiel:

Im folgenden Beispiel kopieren wir die im newDataFlair-Verzeichnis in HDFS vorhandene ‚Datei1‘ in das Dataflair-Verzeichnis von HDFS.

cp-Befehl - HDFS-Befehle

Beschreibung des Hadoop HDFS cp-Befehls:

Der cp-Befehl kopiert eine Datei von einem Verzeichnis in ein anderes Verzeichnis innerhalb des HDFS.

Das war also alles auf Hadoop HDFS-Befehlen. Hoffe es gefällt euch.

What’s Next

  • Hadoop HDFS Commands Part-II
  • Hadoop HDFS Commands Part-III

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.