Entdecken Sie die wichtigsten und am häufigsten verwendeten Hadoop HDFS-Befehle, um Dateioperationen auf dem zuverlässigsten Speicher der Welt auszuführen.
Hadoop HDFS ist ein verteiltes Dateisystem, das redundanten Speicherplatz für Dateien mit großen Größen bietet. Es wird zum Speichern von Dateien verwendet, die im Bereich von Terabyte bis Petabyte liegen.
Bleiben Sie mit den neuesten Technologietrends auf dem Laufenden
Treten Sie DataFlair bei Telegram bei!!
Hadoop HDFS-Befehle
Mit Hilfe des HDFS-Befehls können wir Hadoop HDFS-Dateioperationen ausführen, z. B. das Ändern der Dateiberechtigungen, das Anzeigen des Dateiinhalts, das Erstellen von Dateien oder Verzeichnissen, das Kopieren von Dateien / Verzeichnissen aus dem lokalen Dateisystem in HDFS oder umgekehrt usw.
Bevor wir mit dem Befehl HDFS beginnen, müssen wir die Hadoop-Dienste starten. Um die Hadoop-Dienste zu starten, gehen Sie wie folgt vor:
1. Wechseln Sie in das Verzeichnis ~/hadoop-3.1.2
2. Starten Sie den Hadoop-Dienst mit dem Befehl
sbin/start-dfs.sh
In diesem Tutorial zu Hadoop-Befehlen haben wir die 10 wichtigsten Hadoop HDFS-Befehle mit ihrer Verwendung, ihren Beispielen und ihrer Beschreibung erwähnt.
Lassen Sie uns nun mit den HDFS-Befehlen beginnen.
version
Verwendung des Befehls Hadoop HDFS version:
version
Beispiel für den Befehl Hadoop HDFS version:
Bevor Sie mit HDFS arbeiten, müssen Sie Hadoop bereitstellen.Befolgen Sie diese Anleitung, um Hadoop 3 zu installieren und zu konfigurieren.
hadoop version
Beschreibung des Befehls Hadoop HDFS version:
Die Version des Befehls Hadoop fs shell gibt die Hadoop-Version aus.
mkdir
Hadoop HDFS mkdir-Befehl Verwendung:
hadoop fs –mkdir /path/directory_name
Hadoop HDFS mkdir-Befehl Beispiel 1:
In diesem Beispiel versuchen wir, mit dem Befehl mkdir ein neues Verzeichnis mit dem Namen Dataflair in HDFS zu erstellen.
Mit dem Befehl ls können wir nach den Verzeichnissen in HDFS suchen.
Beispiel 2:
Hadoop HDFS mkdir Command Description:
Dieser Befehl erstellt das Verzeichnis in HDFS, falls es noch nicht existiert.
Hinweis: Wenn das Verzeichnis bereits in HDFS vorhanden ist, erhalten wir die Fehlermeldung, dass die Datei bereits vorhanden ist.
Verwenden Sie hadoop fs mkdir -p /path/directoryname , um nicht zu scheitern, auch wenn das Verzeichnis existiert.
In diesem Handbuch zu den HDFS-Funktionen erfahren Sie mehr über die verschiedenen Funktionen von Hadoop HDFS.
ls
Verwendung des Befehls Hadoop HDFS ls:
hadoop fs -ls /path
Hadoop HDFS ls Befehlsbeispiel 1:
Hier im folgenden Beispiel verwenden wir den Befehl ls, um die in HDFS vorhandenen Dateien und Verzeichnisse zu erfassen.
Beschreibung des Befehls Hadoop HDFS ls:
Der Shell-Befehl Hadoop fs ls zeigt eine Liste des Inhalts eines Verzeichnisses an, das in dem vom Benutzer angegebenen Pfad angegeben ist. Es zeigt den Namen, die Berechtigungen, den Eigentümer, die Größe und das Änderungsdatum für jede Datei oder jedes Verzeichnis im angegebenen Verzeichnis an.
Hadoop HDFS ls Befehl Beispiel 2:
Hadoop HDFS ls Beschreibung:
Dieser Hadoop fs Befehl verhält sich wie -ls, zeigt aber rekursiv Einträge in allen Unterverzeichnissen eines Pfades an.
put
Verwendung des Hadoop HDFS put-Befehls:
haoop fs -put <localsrc> <dest>
Hadoop HDFS put-Befehlsbeispiel:
Hier in diesem Beispiel versuchen wir, localfile1 des lokalen Dateisystems in das Hadoop-Dateisystem zu kopieren.
Beschreibung des Hadoop HDFS put-Befehls:
Der Hadoop fs Shell-Befehl put ähnelt dem Befehl copyFromLocal, der Dateien oder Verzeichnisse aus dem lokalen Dateisystem kopiert zum Ziel im Hadoop-Dateisystem.
copyFromLocal
Hadoop HDFS copyFromLocal Befehlsverwendung:
hadoop fs -copyFromLocal <localsrc> <hdfs destination>
Hadoop HDFS copyFromLocal Befehlsbeispiel:
Im folgenden Beispiel versuchen wir, die im lokalen Dateisystem vorhandene ‚test1‘-Datei in das newDataFlair-Verzeichnis von Hadoop zu kopieren.
Hadoop HDFS copyFromLocal-Befehlsbeschreibung:
Dieser Befehl kopiert die Datei vom lokalen Dateisystem nach HDFS.
Erfahren Sie Interna von HDFS Daten lesen Betrieb, Wie Daten fließt in HDFS beim Lesen der Datei.
Noch Zweifel an Hadoop HDFS-Befehlen? Bitte kommentieren.
get
Hadoop HDFS get-Befehl Verwendung:
hadoop fs -get <src> <localdest>
Hadoop HDFS get-Befehl Beispiel:
In diesem Beispiel versuchen wir, die „Testdatei“ des Hadoop-Dateisystems in das lokale Dateisystem zu kopieren.
Hadoop HDFS get Befehlsbeschreibung:
Der Hadoop fs Shell-Befehl get kopiert die Datei oder das Verzeichnis aus dem Hadoop-Dateisystem in das lokale Dateisystem.
Erfahren: Rack Awareness, High Availability
copyToLocal
Hadoop HDFS copyToLocal Verwendung des Befehls:
hadoop fs -copyToLocal <hdfs source> <localdst>
Hadoop HDFS copyToLocal Beispiel:
In diesem Beispiel versuchen wir, die im newDataFlair-Verzeichnis von HDFS vorhandene Beispieldatei in das lokale Dateisystem zu kopieren.
Mit dem Befehl ls können wir überprüfen, ob die Datei kopiert wurde oder nicht.
Hadoop HDFS copyToLocal Beschreibung:
copyToLocal Befehl kopiert die Datei von HDFS in das lokale Dateisystem.
cat
Verwendung des Hadoop HDFS cat-Befehls:
hadoop fs –cat /path_to_file_in_hdfs
Hadoop HDFS cat-Befehlsbeispiel:
In diesem Beispiel verwenden wir den Befehl cat, um den Inhalt der „Beispiel“ -Datei im newDataFlair-Verzeichnis von HDFS anzuzeigen.
Hadoop HDFS cat-Befehlsbeschreibung:
Der Befehl cat liest die Datei in HDFS und zeigt den Inhalt der Datei auf der Konsole oder stdout an.
mv
Verwendung des Hadoop HDFS mv-Befehls:
hadoop fs -mv <src> <dest>
Hadoop HDFS mv-Befehlsbeispiel:
In diesem Beispiel haben wir ein Verzeichnis ‚DR1‘ in HDFS. Wir verwenden den Befehl mv, um das Verzeichnis DR1 in das Verzeichnis DataFlair in HDFS zu verschieben.
Hadoop HDFS mv Befehlsbeschreibung:
Der Befehl HDFS mv verschiebt die Dateien oder Verzeichnisse von der Quelle zu einem Ziel in HDFS.
cp
Verwendung des Hadoop HDFS cp-Befehls:
hadoop fs -cp <src> <dest>
Hadoop HDFS cp-Befehlsbeispiel:
Im folgenden Beispiel kopieren wir die im newDataFlair-Verzeichnis in HDFS vorhandene ‚Datei1‘ in das Dataflair-Verzeichnis von HDFS.
Beschreibung des Hadoop HDFS cp-Befehls:
Der cp-Befehl kopiert eine Datei von einem Verzeichnis in ein anderes Verzeichnis innerhalb des HDFS.
Das war also alles auf Hadoop HDFS-Befehlen. Hoffe es gefällt euch.
What’s Next
- Hadoop HDFS Commands Part-II
- Hadoop HDFS Commands Part-III