poznaj najważniejsze i najczęściej używane polecenia Hadoop HDFS do wykonywania operacji na plikach na najbardziej niezawodnej pamięci masowej na świecie.
Hadoop HDFS to rozproszony system plików, który zapewnia nadmiarową przestrzeń dyskową dla plików o ogromnych rozmiarach. Jest on używany do przechowywania plików, które są w zakresie terabajtów do petabajtów.
Bądź na bieżąco z najnowszymi trendami technologicznymi
Dołącz do DataFlair na Telegramie!!
polecenia Hadoop HDFS
za pomocą polecenia HDFS możemy wykonywać operacje na plikach Hadoop HDFS, takie jak zmiana uprawnień do plików, przeglądanie zawartości pliku, tworzenie plików lub katalogów, kopiowanie pliku / katalogu z lokalnego systemu plików do HDFS lub odwrotnie itp.
przed uruchomieniem polecenia HDFS musimy uruchomić usługi Hadoop. Aby uruchomić usługi Hadoop wykonaj następujące czynności:
1. Przejdź do katalogu ~ / hadoop-3.1.2
2. Uruchom usługę Hadoop za pomocą polecenia
sbin/start-dfs.sh
w tym samouczku poleceń Hadoop wspomnieliśmy o 10 najlepszych poleceniach Hadoop HDFS wraz z ich użyciem, przykładami i opisem.
Zacznijmy od poleceń HDFS.
wersja
użycie polecenia Hadoop HDFS Version:
version
przykład polecenia Hadoop HDFS version:
przed rozpoczęciem pracy z HDFS musisz wdrożyć Hadoop, postępuj zgodnie z tym przewodnikiem, aby zainstalować i skonfigurować Hadoop 3.
hadoop version
polecenie wersji Hadoop HDFS opis:
polecenie powłoki Hadoop FS wyświetla wersję Hadoop.
mkdir
Hadoop HDFS mkdir użycie polecenia:
hadoop fs –mkdir /path/directory_name
Hadoop HDFS mkdir przykład polecenia 1:
w tym przykładzie staramy się utworzyć katalog nazwany newDataFlair w HDFS za pomocą polecenia mkdir.
używając polecenia ls możemy sprawdzić katalogi w HDFS.
przykład 2:
polecenie Hadoop HDFS mkdir opis:
To polecenie tworzy katalog w HDFS, jeśli jeszcze nie istnieje.
Uwaga: Jeśli katalog już istnieje w HDFS, wtedy otrzymamy komunikat o błędzie, że plik już istnieje.
użyj hadoop FS mkdir-p / path / directoryname, aby nie zawieść nawet jeśli katalog istnieje.
Poznaj różne funkcje Hadoop HDFS z tego przewodnika funkcji HDFS.
LS
Hadoop HDFS użycie polecenia ls:
hadoop fs -ls /path
Hadoop HDFS przykład polecenia ls 1:
W poniższym przykładzie używamy polecenia ls do pobierania plików i katalogów obecnych w HDFS.
Hadoop HDFS LS Command opis:
polecenie powłoki Hadoop fs LS wyświetla listę zawartości katalogu określonego w ścieżce podanej przez użytkownika. Pokazuje nazwę, uprawnienia, właściciela, rozmiar i datę modyfikacji dla każdego PLIKU lub katalogów w określonym katalogu.
polecenie Hadoop HDFS LS przykład 2:
Hadoop HDFS LS opis:
To polecenie Hadoop FS zachowuje się jak-ls, ale rekurencyjnie wyświetla wpisy we wszystkich podkatalogach ścieżki.
put
Hadoop HDFS put Command Usage:
haoop fs -put <localsrc> <dest>
Hadoop HDFS put Command Example:
tutaj w tym przykładzie staramy się skopiować localfile1 lokalnego systemu plików do systemu plików Hadoop.
Hadoop HDFS put Command opis:
polecenie powłoki Hadoop FS put jest podobne do polecenia copyFromLocal, które kopiuje pliki lub katalog z lokalny system plików do miejsca docelowego w systemie plików Hadoop.
copyFromLocal
Hadoop HDFS Copyfromlocal użycie polecenia:
hadoop fs -copyFromLocal <localsrc> <hdfs destination>
przykład polecenia Hadoop HDFS copyFromLocal:
w poniższym przykładzie próbujemy skopiować plik 'test1′ obecny w lokalnym systemie plików do katalogu Newdataflair w Hadoop.
Hadoop HDFS Copyfromlocal Command opis:
To polecenie kopiuje plik z lokalnego systemu plików do HDFS.
poznaj wewnętrzne operacje odczytu danych HDFS, jak przepływają dane w HDFS podczas odczytu pliku.
masz jeszcze wątpliwości co do poleceń Hadoop HDFS? Proszę O Komentarz.
get
Hadoop HDFS get Command Usage:
hadoop fs -get <src> <localdest>
Hadoop HDFS get Command Example:
w tym przykładzie staramy się skopiować 'plik testowy’ systemu plików hadoop do lokalnego systemu plików.
Hadoop HDFS get Command opis:
polecenie powłoki Hadoop FS get kopiuje plik lub katalog z systemu plików Hadoop do lokalnego systemu plików.
Dowiedz się: Świadomość Rack, wysoka dostępność
copyToLocal
Hadoop HDFS Copytolocal użycie polecenia:
hadoop fs -copyToLocal <hdfs source> <localdst>
Hadoop HDFS copyToLocal przykład polecenia:
w tym przykładzie staramy się skopiować plik 'sample’ znajdujący się w katalogu newDataFlair HDFS do lokalnego systemu plików.
możemy sprawdzić, czy plik jest kopiowany, czy nie za pomocą polecenia ls.
Hadoop HDFS copyToLocal opis:
polecenie copyToLocal kopiuje plik z HDFS do lokalnego systemu plików.
cat
użycie polecenia Hadoop HDFS cat:
hadoop fs –cat /path_to_file_in_hdfs
przykład polecenia Hadoop HDFS cat:
w tym przykładzie używamy polecenia cat do wyświetlenia zawartości pliku 'sample’ znajdującego się w katalogu newDataFlair pliku HDFS.
opis polecenia Hadoop HDFS cat:
polecenie cat odczytuje plik w HDFS i wyświetla zawartość pliku na konsoli lub stdout.
MV
Hadoop HDFS mv użycie polecenia:
hadoop fs -mv <src> <dest>
Hadoop HDFS MV przykład polecenia:
w tym przykładzie mamy katalog 'DR1′ w HDFS. Używamy polecenia mv, aby przenieść katalog DR1 do katalogu DataFlair w HDFS.
Hadoop HDFS MV Command opis:
polecenie HDFS MV przenosi pliki lub katalogi ze źródła do miejsca docelowego w HDFS.
cp
użycie polecenia Hadoop HDFS cp:
hadoop fs -cp <src> <dest>
przykład polecenia Hadoop HDFS CP:
w poniższym przykładzie kopiujemy plik 'file1′ znajdujący się w katalogu newDataFlair w HDFS do katalogu dataflair w HDFS.
Hadoop HDFS opis polecenia CP:
polecenie CP kopiuje plik z jednego katalogu do innego katalogu w HDFS.
więc to wszystko było na poleceniach Hadoop HDFS. Mam nadzieję, że ci się spodoba.
What’s Next
- Hadoop HDFS Commands Part-II
- Hadoop HDFS Commands Part-III