Top 10 poleceń Hadoop HDFS z przykładami i użyciem

poznaj najważniejsze i najczęściej używane polecenia Hadoop HDFS do wykonywania operacji na plikach na najbardziej niezawodnej pamięci masowej na świecie.

Hadoop HDFS to rozproszony system plików, który zapewnia nadmiarową przestrzeń dyskową dla plików o ogromnych rozmiarach. Jest on używany do przechowywania plików, które są w zakresie terabajtów do petabajtów.

Bądź na bieżąco z najnowszymi trendami technologicznymi
Dołącz do DataFlair na Telegramie!!

polecenia Hadoop HDFS

za pomocą polecenia HDFS możemy wykonywać operacje na plikach Hadoop HDFS, takie jak zmiana uprawnień do plików, przeglądanie zawartości pliku, tworzenie plików lub katalogów, kopiowanie pliku / katalogu z lokalnego systemu plików do HDFS lub odwrotnie itp.

przed uruchomieniem polecenia HDFS musimy uruchomić usługi Hadoop. Aby uruchomić usługi Hadoop wykonaj następujące czynności:

1. Przejdź do katalogu ~ / hadoop-3.1.2

2. Uruchom usługę Hadoop za pomocą polecenia

sbin/start-dfs.sh

w tym samouczku poleceń Hadoop wspomnieliśmy o 10 najlepszych poleceniach Hadoop HDFS wraz z ich użyciem, przykładami i opisem.

Zacznijmy od poleceń HDFS.

polecenia hadoop hdfs

wersja

użycie polecenia Hadoop HDFS Version:

version

przykład polecenia Hadoop HDFS version:

przed rozpoczęciem pracy z HDFS musisz wdrożyć Hadoop, postępuj zgodnie z tym przewodnikiem, aby zainstalować i skonfigurować Hadoop 3.

hadoop version

polecenie wersji - polecenia HDFS

polecenie wersji Hadoop HDFS opis:

polecenie powłoki Hadoop FS wyświetla wersję Hadoop.

mkdir

Hadoop HDFS mkdir użycie polecenia:

hadoop fs –mkdir /path/directory_name

Hadoop HDFS mkdir przykład polecenia 1:

w tym przykładzie staramy się utworzyć katalog nazwany newDataFlair w HDFS za pomocą polecenia mkdir.

polecenie mkdir - polecenia HDFS

używając polecenia ls możemy sprawdzić katalogi w HDFS.

LS commad do sprawdzania katalogu - polecenia HDFS

przykład 2:

mkdir z opcją P - polecenia HDFS

polecenie Hadoop HDFS mkdir opis:

To polecenie tworzy katalog w HDFS, jeśli jeszcze nie istnieje.

Uwaga: Jeśli katalog już istnieje w HDFS, wtedy otrzymamy komunikat o błędzie, że plik już istnieje.

użyj hadoop FS mkdir-p / path / directoryname, aby nie zawieść nawet jeśli katalog istnieje.

Poznaj różne funkcje Hadoop HDFS z tego przewodnika funkcji HDFS.

LS

Hadoop HDFS użycie polecenia ls:

hadoop fs -ls /path

Hadoop HDFS przykład polecenia ls 1:

W poniższym przykładzie używamy polecenia ls do pobierania plików i katalogów obecnych w HDFS.

LS command - polecenia HDFS

Hadoop HDFS LS Command opis:

polecenie powłoki Hadoop fs LS wyświetla listę zawartości katalogu określonego w ścieżce podanej przez użytkownika. Pokazuje nazwę, uprawnienia, właściciela, rozmiar i datę modyfikacji dla każdego PLIKU lub katalogów w określonym katalogu.

polecenie Hadoop HDFS LS przykład 2:

ls z poleceniem R - polecenia HDFS

Hadoop HDFS LS opis:

To polecenie Hadoop FS zachowuje się jak-ls, ale rekurencyjnie wyświetla wpisy we wszystkich podkatalogach ścieżki.

put

Hadoop HDFS put Command Usage:

haoop fs -put <localsrc> <dest>

Hadoop HDFS put Command Example:

tutaj w tym przykładzie staramy się skopiować localfile1 lokalnego systemu plików do systemu plików Hadoop.

put command - HDFS commands

checking-for-file-copyfromlocal - HDFS commands

Hadoop HDFS put Command opis:

polecenie powłoki Hadoop FS put jest podobne do polecenia copyFromLocal, które kopiuje pliki lub katalog z lokalny system plików do miejsca docelowego w systemie plików Hadoop.

copyFromLocal

Hadoop HDFS Copyfromlocal użycie polecenia:

hadoop fs -copyFromLocal <localsrc> <hdfs destination>

przykład polecenia Hadoop HDFS copyFromLocal:

w poniższym przykładzie próbujemy skopiować plik 'test1′ obecny w lokalnym systemie plików do katalogu Newdataflair w Hadoop.

copyFromLocal command - polecenia HDFS

showingcontentofcopiedfile - polecenia HDFS

Hadoop HDFS Copyfromlocal Command opis:

To polecenie kopiuje plik z lokalnego systemu plików do HDFS.

poznaj wewnętrzne operacje odczytu danych HDFS, jak przepływają dane w HDFS podczas odczytu pliku.

masz jeszcze wątpliwości co do poleceń Hadoop HDFS? Proszę O Komentarz.

get

Hadoop HDFS get Command Usage:

hadoop fs -get <src> <localdest>

Hadoop HDFS get Command Example:

w tym przykładzie staramy się skopiować 'plik testowy’ systemu plików hadoop do lokalnego systemu plików.

Hadoop HDFS get Command opis:
polecenie powłoki Hadoop FS get kopiuje plik lub katalog z systemu plików Hadoop do lokalnego systemu plików.

Pobierz polecenie - polecenia HDFS

sprawdzanie pliku skopiowanego z poleceń hadoop-HDFS

Dowiedz się: Świadomość Rack, wysoka dostępność

copyToLocal

Hadoop HDFS Copytolocal użycie polecenia:

hadoop fs -copyToLocal <hdfs source> <localdst>

Hadoop HDFS copyToLocal przykład polecenia:

w tym przykładzie staramy się skopiować plik 'sample’ znajdujący się w katalogu newDataFlair HDFS do lokalnego systemu plików.

polecenie copyToLocal - polecenia HDFS

możemy sprawdzić, czy plik jest kopiowany, czy nie za pomocą polecenia ls.

sprawdzanie pliku copiedtolocal polecenie - polecenia HDFS

Hadoop HDFS copyToLocal opis:

polecenie copyToLocal kopiuje plik z HDFS do lokalnego systemu plików.

cat

użycie polecenia Hadoop HDFS cat:

hadoop fs –cat /path_to_file_in_hdfs

przykład polecenia Hadoop HDFS cat:

w tym przykładzie używamy polecenia cat do wyświetlenia zawartości pliku 'sample’ znajdującego się w katalogu newDataFlair pliku HDFS.

cat command - polecenia HDFS

opis polecenia Hadoop HDFS cat:

polecenie cat odczytuje plik w HDFS i wyświetla zawartość pliku na konsoli lub stdout.

MV

Hadoop HDFS mv użycie polecenia:

hadoop fs -mv <src> <dest>

Hadoop HDFS MV przykład polecenia:

w tym przykładzie mamy katalog 'DR1′ w HDFS. Używamy polecenia mv, aby przenieść katalog DR1 do katalogu DataFlair w HDFS.

MV-command-HDFS-commands

Hadoop HDFS MV Command opis:

polecenie HDFS MV przenosi pliki lub katalogi ze źródła do miejsca docelowego w HDFS.

cp

użycie polecenia Hadoop HDFS cp:

hadoop fs -cp <src> <dest>

przykład polecenia Hadoop HDFS CP:

w poniższym przykładzie kopiujemy plik 'file1′ znajdujący się w katalogu newDataFlair w HDFS do katalogu dataflair w HDFS.

polecenie cp - polecenia HDFS

Hadoop HDFS opis polecenia CP:

polecenie CP kopiuje plik z jednego katalogu do innego katalogu w HDFS.

więc to wszystko było na poleceniach Hadoop HDFS. Mam nadzieję, że ci się spodoba.

What’s Next

  • Hadoop HDFS Commands Part-II
  • Hadoop HDFS Commands Part-III

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *