Bevezetés a Hadoop fs parancsaiba

Ebben a cikkben áttekintjük a HADOOP fájlkezelési parancsát, amelyet a fájlok kezelésére használunk a konzolon keresztül.

Szüksége lesz egy Linux rendszerre és a legújabb Hadoop verzióra. A Hadoop verzió kinyomtatásához, hogy megtudjuk, ki készítette a kiadást, az ellenőrzőösszegnek csak azt kell végrehajtania az alábbi parancsot, amikor bejelentkeztünk a Hadoop platformra.

Parancs: Hadoop verzió

A Hadoop fs parancsai

Most tanuljuk meg, hogyan kell használni a HADOOP fs parancsokat.

Az alapokkal kezdjük. Csak írja be ezeket a parancsokat a PUTTY vagy bármelyik konzolba, amelyik kényelmesebb.

1. hadoop fs -ls

Egy könyvtár esetén visszaadja a fájlok és könyvtárak listáját, míg egy fájl esetén a fájlt tartalmazó statisztikákat adja vissza.

hadoop fs -lsr: ez a könyvtárak és fájlok rekurzív felsorolására szolgál bizonyos mappák alatt.

  • Példa : hadoop fs -ls / vagy hadoop fs -lsr
Megjegyzés : hadoop fs -ls (-d) (-h) (-R)
  • -d: A könyvtárakat egyszerű fájlokként sorolják fel.
  • -h: Ez a fájlméretek emberi olvasható módon történő formázására szolgál, nem csupán a byte-ok számára.
  • -R: Ez a könyvtárak tartalmának rekurzív felsorolására szolgál.
2. hadoop fs -mkdir

Ez a parancs argumentumként veszi az elérési utat, és hdfs-ben létrehoz könyvtárakat.

  • Példa : hadoop fs -mkdir / user / datahub1 / data
Megjegyzés: Ha megpróbálunk alkönyvtárakat létrehozni, akkor a szülő könyvtárnak léteznie kell. Ha ez a feltétel nem teljesül, akkor a „Nincs ilyen fájl vagy könyvtár” felirat jelenik meg.
3. hadoop fs -touchz

Üres fájlt hoz létre, és nem használ helyet

  • Példa: hadoop fs -touchz URI
4. hadoop fs -rm

Törölje az argumentumként megadott fájlokat. Meg kell adnunk az -r opciót a teljes könyvtár törléséhez. És ha a -skipTrash beállítást megadja, akkor kihagyja a kukát, és a fájl azonnal törlődik.

  • Példa : hadoop fs -rm -r /user/test1/abc.text
5. hadoopfs -rmdir

Eltávolítja a fájlokat és a könyvtárak és alkönyvtárak engedélyeit. Alapvetően a Hadoop fs -rm kibővített változata.

6. hadoop fs-cp

Másolja a fájlt az egyik helyről a másikra

  • Példa : hadoop fs -cp /user/data/abc.csv / user / datahub
7. hadoop fs -copyFromLocal

Másolja a fájlt a szélső csomópontról a HDFS fájlra.

8. hadoop fs -put

Másolja a fájlt a szélső csomópontról a HDFS-re, hasonló az előző parancshoz, de a put is beolvassa a standard stdin bemenetet és írja a HDFS-be

  • Példa : hadoop fs -put abc.csv / felhasználó / adat
Megjegyzés :
hadoop fs -put -p: A zászló megőrzi a hozzáférést, a módosítási időt, a tulajdonjogot és az üzemmódot.
hadoop fs -put -f: Ez a parancs felülírja a rendeltetési helyet, ha a fájl már létezik a másolás előtt.
9. hadoop fs -moveFromLocal

Hasonló a helyi másoláshoz, azzal a különbséggel, hogy a forrásfájlt a HDFS-re másolás után törlik a helyi szélcsomóból

  • Példa : fs -moveFromLocal abc.text / user / data / acb.
10. hadoop fs -copyToLocal

Másolja a fájlt a HDFS-ből a edgenode-ba.

  • Példa : fs -copyToLocal abc.text / localpath
11. hadoop fs -chmod

Ez a parancs segít nekünk megváltoztatni egy fájl vagy könyvtár hozzáférését

  • Példa : hadoop fs -chmod (-R) (út)
12. hadoop fs -chown

Ez a parancs segít nekünk megváltoztatni egy fájl vagy könyvtár tulajdonjogát

  • Példa : hadoop fs -chown (-R) (TULAJDONOS) (:( GROUP)) PATH
13. hadoop fs -cat

Kinyomtatja a HDFS fájl tartalmát a terminálon

  • Példa : hadoop fs -cat /user/data/abc.csv
14. hadoop fs-farok

Megjeleníti a HDFS fájl utolsó KB-ját az átváltón

  • Példa : hadoop fs -tail / in / xyzfile
15. hadoop fs -test

Ezt a parancsot a HDFS fájlteszt műveletekhez használják, ha 0, akkor 0-t ad vissza.

  • - e: ellenőrzi, hogy van-e fájl.
  • -z: ellenőrzi, hogy a fájl nulla hosszú-e
  • -d / -f: ellenőrzi, hogy az elérési út könyvtár / fájl-e

Itt részletesen tárgyalunk egy példát

  • Példa : hadoop fs -test - (defz) /user/test/test1.text
16. hadoop fs -du

Megjeleníti az adott könyvtárban található fájlok és könyvtárak méretét vagy egy fájl hosszát, ha egy fájl

17. hadoop fs -df

Megjeleníti a szabad helyet

18. hadoop fs-ellenőrző összeg

Visszaadja a fájl ellenőrző összegét

19. hadoop fs -getfacl

Megjeleníti az adott fájl vagy könyvtár hozzáférés-vezérlő listáját (ACL)

20. hadoop fs -számlálás

Megszámolja a könyvtárak, fájlok és bájtok számát az elérési út alatt, amely megfelel a megadott fájlmintának.

21. hadoop fs -setrep

Megváltoztatja a fájl replikációs tényezőjét. És ha az elérési út egy könyvtár, akkor a parancs megváltoztatja a könyvtár alatti összes fájl replikációs tényezőjét.

  • Példa : hadoop fs -setrep -R / user / datahub: a visszamenőleges képesség elfogadására szolgál, és nincs hatása.

hadoop fs - setrep -w / user / datahub : várja a replikáció befejezését

22. hadoop fs -getmerge

Összekapcsolja a forrásban lévő HDFS fájlokat a cél helyi fájlba

  • Példa : hadoop fs -getmerge / user / datahub
23. hadoop fs -appendToFile

Egyetlen vagy több forrást ad hozzá a helyi fájlrendszerből a rendeltetési helyhez.

  • Példa : hadoop fs -appendToFile xyz.log data.csv / in / appendfile
24. hadoop fs -stat

Kinyomtatja a fájl vagy könyvtár statisztikáit.

  • Példa : hadoop fs -stat (formátum)

Következtetés - Hadoop fs parancsok

Tehát szinte az összes olyan parancsot átmentük, amelyek a fájlkezeléshez szükségesek, és megtekintettük a fájlokban található adatokat. A fájlokat és az adatokat az Hadoop platformon módosíthatja.

Ajánlott cikkek

Ez a Hadoop fs parancsok útmutatója. Itt részletesen bemutatjuk a Hadoop fs parancsok bevezetését és példáját. A következő cikkeket is megnézheti további információkért -

  1. Telepítse a Hadoop alkalmazást
  2. Hadoop eszközök
  3. Hadoop építészet
  4. Hadoop alkatrészek
  5. Hadoop fs parancsok

Kategória:

Nagy adat