Bevezetés a Hadoop FS parancslistába
A Hadoop saját fájlrendszerén működik, amelyet a természetben elosztott néven „Hadoop elosztott fájlrendszer HDFS ” néven ismert. A Hadoop az elosztott tárolásra és a párhuzamos feldolgozásra támaszkodik. A fájl elosztott helyeken a fürtben való tárolásának ilyen módja Hadoop elosztott fájlrendszer, azaz HDFS. A különféle műveletek végrehajtásához a fájl szintjén a HDFS biztosítja a saját parancskészletét, amelyet Hadoop fájlrendszer parancsnak hívnak. Fedezzük fel ezeket a parancsokat. Ebben a témában megismerjük a Hadoop FS parancsot.
A Hadoop FS parancsai
Bármely HDFS parancs elõtagja „hdfs dfs”. Ez azt jelenti, hogy meghatározzuk, hogy az alapértelmezett fájlrendszer HDFS. Fedezzük fel parancsokat egyenként
1. Verziók
A verzióparancs a rendszerbe telepített Hadoop verziójának a megkeresésére szolgál.
Szintaxis: Hadoop version
2. ls parancs
A Hadoop ls parancsával megadhatja az említett elérési út könyvtárainak listáját. Az ls parancs az hdfs elérési útját veszi paraméterként, és visszaadja az elérési útban található könyvtárak listáját.
Szintaxis: hdfs dfs -ls
Példa: hdfs dfs -ls / user / harsha
Az -lsr is használható rekurzív módban
Szintaxis: hdfs dfs –lsr
3. Macskaparancs
A Cat paranccsal a fájl tartalmát a konzolon jelenítik meg. Ez a parancs argumentumként veszi a hdfs fájl elérési útját, és megjeleníti a fájl tartalmát.
Szintaxis: hdfs dfs -cat
Példa: hdfs dfs -cat /user /harsha/empnew.txt
4. mkdir parancs
Az mkdir parancs új könyvtár létrehozására szolgál a hdfs fájlrendszerben. Érvként veszi a hdfs elérési útját, és létrehoz egy új könyvtárat a megadott útvonalon.
Szintaxis: hdfs dfs -mkdir
Példa: hdfs dfs -mkdir / felhasználó / példa
A fenti képernyőképen egyértelműen látható, hogy az mkdir paranccsal új, „példa” nevű könyvtárat készítünk, és ugyanez látható az ls parancs használatával.
Az mkdir parancshoz a '-p' opciót is megadhatjuk. Szülő könyvtárakat hoz létre az elérési útban, ha hiányoznak.
Példa: hdfs dfs -mkdir -p / felhasználó / teszt / példa2
A fenti képernyőképen teljesen nyilvánvaló, hogy van -p opciónk, és az elérési út / felhasználó / teszt / példa2 mind a teszt, mind a példa2 könyvtárakat létrehozza.
5. fel parancsot
A HDFS parancsba helyezzük a fájlokat az adott forrás helyéről a cél hdfs elérési útjára. Itt a forrás helye lehet egy helyi fájlrendszer útvonala. A put parancs két argumentumot igényel, az egyik a forráskönyvtár elérési útja, a második pedig a célzott HDFS útvonal
Szintaxis: hdfs dfs -put
Példa: hdfs dfs -put /home/harsha/empnew.txt / user / test / example2
A fenti képernyőképen egyértelműen láthatjuk, hogy a fájlt a forrásról a célra másolja.
6. copyFromLocal parancs
A HDFS copyFromLocal parancsával fájlokat másolnak a forrás elérési útjáról a cél útvonalra. A parancs forrása a helyi fájlrendszerre korlátozódik
Szintaxis: hdfs dfs -copyFromLocal /home/harsha/empnew.txt/user/harsha/example
Különbség a put parancs és a copyFromLocal parancs között: Nincs nagy különbség e két hdfs parancs között. Mindkettőt a helyi fájlrendszerből való másolásra használják, hogy megcélozzák a HDFS fájl elérési útját.
De a put parancs sokkal hasznosabb és robusztusabb, mivel lehetővé teszi több fájl vagy könyvtár másolását a célba a HDFS-ben
hdfs dfs -put
7. kap parancsot
A get parancs hdfs-ben egy adott hdfs fájl vagy könyvtár másolására szolgál a cél helyi fájlrendszer elérési útjára. Két érvre van szükség, az egyik a forrás hdfs elérési útja, a másik pedig a cél helyi fájlrendszer elérési útja
Szintaxis: hdfs dfs -get
Példa: hdfs dfs -get / felhasználó / teszt / példa2 / home / harsha
8. copyToLocal parancs
Az hdfs copyToLocal parancsával hdfs fájl vagy könyvtár másolható a helyi fájlrendszerbe. Ebben a parancsban a rendeltetési helyet a helyi fájlrendszer rögzíti. Ez a copyFromLocal parancs hasonló a get parancshoz.
Szintaxis: hdfs dfs -copyToLocal
Példa: hdfs dfs -copyToLocal / felhasználó / harsha / példa / home / harsha
9. count parancs
A hdfs számlálóparancsával megadható az adott útvonalon lévő könyvtárak száma. A count parancs argumentumként veszi az adott útvonalat, és megadja az abban az útvonalban található könyvtárak számát.
Szintaxis: hdfs dfs -count
Példa: hdfs dfs -count / user
10. mv parancs
Az hdfs-ben szereplő mv parancs a fájl áthelyezésére szolgál az hdfs között. Az mv parancs fájlt vagy könyvtárat vesz az adott forrás hdfs elérési útjáról, és áthelyezi azt a cél hdfs elérési útba.
Szintaxis : hdfs dfs -mv
Példa : hdfs dfs-mv / felhasználó / teszt / példa2 / felhasználó / harsha
A fenti képernyőképen láthatjuk, hogy az example2 könyvtár ma megtalálható a / user / harsha mappában
11. setrep parancs
A hdfs-ben található setrep paranccsal módosíthatjuk az adott fájl replikációs faktorát. Alapértelmezés szerint a hdfs replikációs tényezője '3'. Ha az adott út egy könyvtár, akkor ez a parancs megváltoztatja az abban a könyvtárban található összes fájl replikációs tényezőjét.
Szintaxis: hdfs dfs -setrep (-R) (-w)
-w: Ez a zászló meghatározza, hogy a parancsnak várnia kell a replikáció befejeződését.
rep: replikációs tényező
Példa: hdfs dfs -setrep -w 5 /user/harsha/empnew.txt
12. du parancs
A hdfs-ben található du parancs megmutatja a megadott hdfs elérési út lemezfelhasználását. Bemenetként veszi a hdfs elérési útját, és byte-ban adja vissza a lemez felhasználását.
Szintaxis : hdfs dfs -du
Példa: hdfs dfs -du /user/harsha/empnew.txt
13. rm parancs
Az hdfs-ben található rm parancs fájlokat vagy könyvtárakat távolít el az adott hdfs elérési útból. Ez a parancs a hdfs elérési útját veszi bemenetként, és eltávolítja az abban az úton lévő fájlokat.
Szintaxis : hdfs dfs -rm
Példa : hdfs dfs -rm / felhasználó / harsha / példa
Következtetés - Hadoop FS parancs
Ezzel megismertük a különféle hdfs parancsokat, azok szintaxisait példákkal is. Meg kell jegyeznünk, hogy a kick start minden hdfs parancsot el kell indítani, szükségünk van bin / hdfs parancsfájl futtatására. A hdfs-et egy dfs néven ismert opció követi, amely azt jelzi, hogy a Hadoop elosztott fájlrendszerrel dolgozunk. A fent említett parancsok segítségével tárgyalásokat folytathatunk a HDFS fájlrendszerrel.
Ajánlott cikkek
Ez a Hadoop FS Command útmutatója. Itt tárgyaljuk a leggyakrabban használt HDFS parancsokat. A következő cikkben további információkat is megnézhet -
- Hadoop építészet
- HADOOP keretrendszer
- Telepítse a Hadoop alkalmazást
- Hadoop eszközök
- Tableau verziók
- Útmutató az Unix Shell parancsok listájához