Top 10 Hadoop HDFS parancsok példákkal és használat

fedezze fel a legfontosabb és gyakran használt Hadoop HDFS parancsokat a fájlműveletek végrehajtásához a világ legmegbízhatóbb tárolójában.

a Hadoop HDFS egy elosztott fájlrendszer, amely redundáns tárhelyet biztosít a hatalmas méretű fájlok számára. Olyan fájlok tárolására szolgál, amelyek a terabyte-tól a petabyte-ig terjednek.

Hadoop HDFS Parancsok

a segítségével a HDFS paranccsal tudjuk elvégezni Hadoop HDFS fájl műveletek módosítása a fájl engedélyeinek megtekintése a fájl tartalmát, ami a fájlok vagy a könyvtárak másolása fájl/könyvtár a helyi fájlrendszer HDFS, vagy fordítva, stb.

mielőtt elkezdené a HDFS parancsot, el kell indítanunk a Hadoop szolgáltatásokat. A Hadoop szolgáltatások indításához tegye a következőket:

1. Lépjen a ~ / hadoop-3.1.2 könyvtárba

2. Indítsa Hadoop szolgáltatás segítségével a parancs

sbin/start-dfs.sh

ebben Hadoop parancsok bemutató, már említettük a top 10 Hadoop HDFS parancsok azok használatát, példák, leírás.

kezdjük most a HDFS parancsokkal.

verzió

Hadoop HDFS verzió használata:

version

Hadoop HDFS Verzió parancs példa:

a HDFS telepítése előtt be kell telepíteni Hadoop, kövesse ezt az útmutatót a Hadoop 3 telepítéséhez és konfigurálásához.

hadoop version

Hadoop HDFS version Command Description:

a Hadoop FS shell parancsverzió kiírja a Hadoop verziót.

mkdir

Hadoop HDFS mkdir parancs használata:

hadoop fs –mkdir /path/directory_name

Hadoop HDFS mkdir parancs példa 1:

ebben a példában egy newdataflair nevű könyvtárat próbálunk létrehozni HDFS-ben az mkdir parancs használatával.

Az ls paranccsal ellenőrizhetjük a HDFS könyvtárakat.

2.példa:

Hadoop HDFS mkdir parancs leírása:

Ez a parancs létrehozza a könyvtárat HDFS, ha még nem létezik.

Megjegyzés: Ha a könyvtár már létezik HDFS-ben, akkor hibaüzenetet kapunk arról, hogy a fájl már létezik.

használja hadoop FS mkdir-p /path/directoryname, így nem sikerül akkor is, ha a könyvtár létezik.

Ismerje meg a Hadoop HDFS különféle funkcióit ebből a HDFS funkciók útmutatóból.

ls

Hadoop HDFS LS Parancshasználat:

hadoop fs -ls /path

Hadoop HDFS ls parancs példa 1:

itt az alábbi példában az ls parancsot használjuk a HDFS-ben található fájlok és könyvtárak felvételére.

Hadoop HDFS LS Command Description:

a Hadoop FS shell parancs ls megjeleníti a felhasználó által megadott elérési útvonalon megadott könyvtár tartalmának listáját. Megmutatja a megadott könyvtár egyes fájljainak vagy könyvtárainak nevét, engedélyeit, tulajdonosát, méretét és módosításának dátumát.

Hadoop HDFS LS Command Example 2:

Hadoop HDFS LS Description:

Ez a Hadoop fs parancs úgy viselkedik, mint-ls, de rekurzívan jeleníti meg a bejegyzéseket minden alkönyvtárban egy utat.

put

Hadoop HDFS put Command Usage:

haoop fs -put <localsrc> <dest>

Hadoop HDFS put parancs példa:

itt ebben a példában megpróbáljuk másolni a helyi fájlrendszer localfile1-jét a Hadoop fájlrendszerbe.

Hadoop HDFS P>parancs leírása:

a Hadoop FS shell parancs hasonló a copyFromLocal parancshoz, amely fájlokat vagy fájlokat másol könyvtár a helyi fájlrendszerről a Hadoop fájlrendszer célállomására.

copyFromLocal

Hadoop HDFS copyFromLocal parancs használata:

hadoop fs -copyFromLocal <localsrc> <hdfs destination>

Hadoop HDFS copyFromLocal parancs példa:

itt az alábbi példában megpróbáljuk átmásolni a helyi fájlrendszerben található “test1” fájlt a Hadoop newDataFlair könyvtárába.

Hadoop HDFS copyFromLocal parancs leírása:

Ez a parancs a fájlt a helyi fájlrendszerből HDFS-re másolja.

Ismerje meg a HDFS-adatok belső olvasását, hogyan áramlik az adatok HDFS-ben a fájl olvasása közben.

bármilyen kétség még a Hadoop HDFS parancsokban? Kérjük, Kommentálja.

get

Hadoop HDFS get Command Usage:

hadoop fs -get <src> <localdest>

Hadoop HDFS get Command Example:

ebben a példában megpróbáljuk másolni a hadoop fájlrendszer “testfile” – jét a helyi fájlrendszerbe.

Hadoop HDFS get Command Description:
a Hadoop FS shell parancs másolja a fájlt vagy könyvtárat a Hadoop fájlrendszerből a helyi fájlrendszerbe.

: Rack tudatosság, magas rendelkezésre állás

copyToLocal

Hadoop HDFS copyToLocal Parancshasználat:

hadoop fs -copyToLocal <hdfs source> <localdst>

Hadoop HDFS copyToLocal parancs példa:

itt ebben a példában megpróbáljuk másolni a HDFS newDataFlair könyvtárában található “minta” fájlt a helyi fájlrendszerbe.

keresztezhetjük annak ellenőrzését, hogy a fájlt lemásolták-e vagy sem az ls paranccsal.

Hadoop HDFS copyToLocal leírás:

copyToLocal parancs másolja a fájlt a HDFS-ről a helyi fájlrendszerre.

cat

Hadoop HDFS Cat parancs használata:

hadoop fs –cat /path_to_file_in_hdfs

Hadoop HDFS Cat parancs példa:

itt ebben a példában a cat parancsot használjuk a HDFS newDataFlair könyvtárában található “minta” fájl tartalmának megjelenítésére.

Hadoop HDFS Cat parancs leírása:

A cat parancs HDFS-ben olvassa a fájlt, majd konzolon vagy stdout-on jeleníti meg a fájl tartalmát.

mv

Hadoop HDFS MV Parancshasználat:

hadoop fs -mv <src> <dest>

Hadoop HDFS mv parancs példa:

ebben a példában van egy ” DR1 ” könyvtár HDFS-ben. Az MV paranccsal mozgatjuk a DR1 könyvtárat a HDFS DataFlair könyvtárába.

Hadoop HDFS mv parancs leírása:

a HDFS mv parancs a fájlokat vagy könyvtárakat a forrásról a HDFS-en belüli rendeltetési helyre mozgatja.

cp

Hadoop HDFS cp parancs használata:

hadoop fs -cp <src> <dest>

Hadoop HDFS cp parancs példa:

az alábbi példában a HDFS newDataFlair könyvtárában található “file1” – et másoljuk a HDFS dataflair könyvtárába.

Hadoop HDFS cp parancs leírása:

a cp parancs átmásol egy fájlt az egyik könyvtárból egy másik könyvtárba a HDFS-en belül.

tehát ez mind a Hadoop HDFS parancsokon volt. Remélem tetszik.

What’s Next

• Hadoop HDFS Commands Part-II
• Hadoop HDFS Commands Part-III