Top 10 Hadoop HDFS-komennot esimerkkeineen ja Käyttöineen

Tutustu olennaisimpiin ja usein käytettyihin Hadoop HDFS-komentoihin, joilla voi suorittaa tiedostotoimintoja maailman luotettavimmalla tallennustilalla.

Hadoop HDFS on hajautettu tiedostojärjestelmä, joka tarjoaa tarpeetonta tallennustilaa valtavan kokoisille tiedostoille. Sitä käytetään tiedostojen tallentamiseen teratavuista petatavuihin.

Hadoop HDFS-komennot

HDFS-komennon avulla voimme suorittaa Hadoop HDFS-tiedostotoimintoja, kuten muuttaa tiedoston käyttöoikeuksia, katsella tiedoston sisältöä, luoda tiedostoja tai hakemistoja, kopioida tiedoston / hakemiston paikallisesta tiedostojärjestelmästä HDFS: ään tai päinvastoin jne.

ennen HDFS-komennon käynnistämistä on käynnistettävä Hadoop-palvelut. Aloita Hadoop-palvelut seuraavasti:

1. Siirrä ~ / hadoop – 3.1.2-hakemistoon

2. Käynnistä Hadoop-palvelu käyttämällä komentoa

sbin/start-dfs.sh

tässä Hadoop-komentojen opetusohjelmassa on mainittu 10 parasta Hadoop HDFS-komentoa niiden käyttöineen, esimerkkeineen ja kuvauksineen.

aloitetaan nyt HDFS-komennoilla.

versio

Hadoop HDFS-Versiokomentojen käyttö:

version

Hadoop HDFS-Versiokomento esimerkki:

ennen kuin työskentelet HDFS: n kanssa sinun on otettava Hadoop käyttöön, asenna ja määritä Hadoop 3 Tämän oppaan avulla.

hadoop version

Hadoop HDFS-versiokomento kuvaus:

Hadoop fs shell-komentoversio tulostaa Hadoop-version.

mkdir

Hadoop HDFS mkdir Command Usage:

hadoop fs –mkdir /path/directory_name

Hadoop HDFS mkdir Command Example 1:

tässä esimerkissä yritämme luoda uuden dataflair-nimisen hakemiston HDFS: ssä käyttäen mkdir-komentoa.

käyttämällä LS-komentoa voimme tarkistaa HDFS: n hakemistot.

Esimerkki 2:

Hadoop HDFS mkdir-komento kuvaus:

Tämä komento luo hakemiston HDFS: ssä, jos sitä ei ole jo olemassa.

Huomautus: Jos hakemisto on jo HDFS: ssä, saamme virheviestin, että tiedosto on jo olemassa.

käytä hadoop fs mkdir-p/path / directorynimeä, joten älä epäonnistu, vaikka Hakemisto olisi olemassa.

Opi Hadoop HDFS: n eri ominaisuuksia tästä HDFS: n ominaisuusoppaasta.

LS

Hadoop HDFS ls-komennon käyttö:

hadoop fs -ls /path

Hadoop HDFS LS-komento Esimerkki 1:

tässä alla olevassa esimerkissä käytämme LS-komentoa VÄRVÄTÄKSEMME HDFS: ssä olevat tiedostot ja hakemistot.

Hadoop HDFS ls-komennon kuvaus:

Hadoop fs shell-komento ls näyttää luettelon käyttäjän antamassa polussa määritellyn kansion sisällöstä. Se näyttää kunkin määritetyn kansion tiedoston tai hakemiston nimen, käyttöoikeudet, omistajan, koon ja muutospäivämäärän.

Hadoop HDFS LS – komento Esimerkki 2:

Hadoop HDFS ls Description:

Tämä Hadoop FS-komento käyttäytyy kuten-ls, mutta näyttää rekursiivisesti merkinnät kaikissa polun alikansioissa.

put

Hadoop HDFS put Command Usage:

haoop fs -put <localsrc> <dest>

Hadoop HDFS put Command Example:

tässä esimerkissä yritämme kopioida paikallisen tiedostojärjestelmän localfile1: tä Hadoop-tiedostojärjestelmään.

Hadoop HDFS put-komento kuvaus:

Hadoop fs shell-komento put on samanlainen kuin copyFromLocal, joka kopioi tiedostoja tai hakemistoa paikallinen tiedostojärjestelmä määränpäähän Hadoop-tiedostojärjestelmässä.

copyFromLocal

Hadoop HDFS copyFromLocal Command Usage:

hadoop fs -copyFromLocal <localsrc> <hdfs destination>

Hadoop HDFS copyFromLocal Command Example:

tässä alla olevassa esimerkissä yritämme kopioida paikallisessa tiedostojärjestelmässä olevan ”test1” – tiedoston Hadoopin newDataFlair-hakemistoon.

Hadoop HDFS copyFromLocal-komento Description:

Tämä komento kopioi tiedoston paikallisesta tiedostojärjestelmästä HDFS: ään.

Opi HDFS-tietojen Lukuoperaatio, miten Data virtaa HDFS: ssä tiedostoa lukiessa.

Onko Hadoop HDFS-komennoissa vielä epäselvyyttä? Ole Hyvä Ja Kommentoi.

get

Hadoop HDFS get Command Usage:

hadoop fs -get <src> <localdest>

Hadoop HDFS get Command Example:

tässä esimerkissä yritämme kopioida hadoop-tiedostojärjestelmän ”testitiedostoa” paikalliseen tiedostojärjestelmään.

Hadoop HDFS get Command Description:
Hadoop fs shell-komento get kopioi tiedoston tai hakemiston Hadoop-tiedostojärjestelmästä paikalliseen tiedostojärjestelmään.

Opi: Rack Awareness, High Availability

copyToLocal

Hadoop HDFS copyToLocal Command Usage:

hadoop fs -copyToLocal <hdfs source> <localdst>

Hadoop HDFS copyToLocal Command Example:

tässä esimerkissä yritämme kopioida HDFS: n newDataFlair-hakemistossa olevaa ”sample” – tiedostoa paikalliseen tiedostojärjestelmään.

voimme ristiintarkistaa, onko tiedosto kopioitu vai ei LS-komennolla.

Hadoop HDFS copyToLocal Description:

kopytolocal-komento kopioi tiedoston HDFS: stä paikalliseen tiedostojärjestelmään.

cat

Hadoop HDFS cat Command Usage:

hadoop fs –cat /path_to_file_in_hdfs

Hadoop HDFS cat Command Example:

tässä esimerkissä käytämme cat-komentoa näyttääksemme ”sample” – tiedoston sisällön HDFS: n newdataflair-hakemistossa.

Hadoop HDFS cat-komennon kuvaus:

cat-komento lukee tiedoston HDFS-muodossa ja näyttää tiedoston sisällön konsoli-tai stdout-tiedostossa.

MV

Hadoop HDFS MV-Komentokäyttö:

hadoop fs -mv <src> <dest>

Hadoop HDFS mv-Komentoesimerkki:

tässä esimerkissä meillä on HDFS-Hakemisto ”DR1”. Käytämme MV Komento Siirtää DR1 hakemistoon DataFlair hakemistoon HDFS.

Hadoop HDFS mv-komento Description:

HDFS MV-komento siirtää tiedostot tai hakemistot lähteestä HDFS: n sisällä olevaan kohteeseen.

cp

Hadoop HDFS cp-komennon käyttö:

Hadoop HDFS cp-Komentoesimerkki:

alla olevassa esimerkissä kopioimme ”file1”: n, joka on läsnä NEWDATAFLAIR-hakemistossa HDFS: n dataflair-hakemistossa.

Hadoop HDFS cp-komento kuvaus:

cp-komento kopioi tiedoston hakemistosta toiseen HDFS-kansioon.

Tämä oli siis kaikki Hadoop HDFS-komennoilla. Toivottavasti pidät siitä.

What’s Next

• Hadoop HDFS Commands Part-II
• Hadoop HDFS Commands Part-III