Bevezetés a HDFS parancsokba
A nagy adatok olyan nagy adatkészletekre vonatkoznak, amelyek annyira hatalmasak vagy összetettek, hogy a hagyományos adatfeldolgozó alkalmazás-szoftverek nem elegendőek a velük való együttműködéshez. A Hadoop egy nyílt forráskódú, Java-alapú programozási keret, amely elosztja az óriási terjedelmű adatkészletek feldolgozási és tárolóterületét egy elterjedt számítási környezetben. Az Apache szoftver alapja a kulcs a Hadoop telepítéséhez
A HDFS tulajdonságai:
- A HDFS Master / slave architektúrán fut
- A fájlokat a HDFS használja a felhasználóval kapcsolatos adatok tárolására
- hatalmas könyvtárakat és fájlokat tartalmaz, amelyeket hierarchikus formátumban tárolnak.
- Belül egy fájlt kisebb blokkokba másolnak, és ezeket a blokkokat Datanodes sorozatban tárolják.
- A Namenode és a Datanode annak a szoftvernek a része, amelyet a GNU / Linux operációs rendszeren klasszikusan futó gépeken futtatni szántak.
Namenode:
- Itt a fájlrendszert névcsomópont tartja fenn
- A Namenode felelős az összes fájlrendszer-változás naplózásáról, ráadásul a teljes fájlrendszer-névtér és a Blockmap képét a memóriában tárolja.
- Az ellenőrzési pontokat rendszeres időközönként végzik. ennélfogva könnyedén visszatérhet a színpadra, mielőtt itt elérhető az ütközési pont.
Datanode:
- A Datanode adatokat tárol a fájlok között a helyi fájlrendszerben
- Annak érdekében, hogy megfigyelje létezését, az adatcsomó továbbítja a pulzusszámot a namenódhoz
- Minden tizedik pulzusról blokk jelentést kell készíteni
- A replikációt az ezekben az adatcsomópontokban tárolt adatok jelentik
Adat replikáció:
- A blokkok sorozata 128 MB alapértelmezett blokkméretű fájlt képez
- A fájlban lévő összes blokk, a végső kivételével, hasonló méretű.
- A fürt minden egyes adatcsomópontjától a namenode elem szívverést kap
- A BlockReport tartalmazza a Datanode összes blokkját.
- hatalmas könyvtárakat és fájlokat tartalmaz, amelyeket hierarchikus formátumban tárolnak.
- Belül egy fájlt kisebb blokkokba másolnak, és ezeket a blokkokat Datanodes sorozatban tárolják.
- A Namenode és a Datanode annak a szoftvernek a része, amelyet a GNU / Linux operációs rendszeren klasszikusan futó gépeken futtatni szántak.
Job tracker: A JobTracker vita a NameNode-val az adatok helyzetének megállapítása céljából. Ezenkívül keresse meg a legfinomabb TaskTracker csomópontokat az adatok helyétől függő feladatok elvégzéséhez
Feladatkövető: A TaskTracker egy olyan csomópont a fürtben, amely feladatokat fogad el - Térkép, Kicsinyítés és Keverés műveleteket - a JobTrackerből.
Másodlagos név csomópont (vagy) ellenőrzőpont csomópont: Rendszeres időközönként lekérdezi a szerkesztési naplót a név csomópontról, és érvényes az FS képére. És a kész FS képet másolja vissza a névcsomópontba az újraindítás során. A Másodlagos Név csomópont teljes célja, hogy ellenőrző pont legyen a HDFS-ben.
Fonal:
- A YARN központi erőforrás-kezelő összetevővel rendelkezik, amely kezeli az erőforrásokat és az erőforrásokat hozzárendelheti minden egyes alkalmazáshoz.
- Itt az erőforrás-kezelő a mester, amely dönt a fürthez társított erőforrásokról, az erőforrás-kezelő két összetevőből áll: az alkalmazáskezelőből és az ütemezőből. Ezek a két összetevő együttesen kezeli a fürtrendszerek feladatait. egy másik összetevő hívja a Node Manager (NM) alkalmazást, amely felelős a felhasználói jobok és munkafolyamatok kezeléséért egy adott csomóponton.
- Az adatok pontos replikációját az aktív namenódban a Standby NameNode tartja. Szolgaként működik, elegendő állapotot fenntart, hogy biztosítson egy gyors feladatátvételt, ha ez nélkülözhetetlen.
Alapvető HDFS parancsok:
|
Alapvető HDFS parancsok |
||
| Sr.No | HDFS parancs tulajdonság | HDFS parancs |
| 1 | Nyomtatás hadoop verzió | $ hadoop verzió |
| 2 | Sorolja fel a gyökérkönyvtár tartalmát a HDFS-ben | $ hadoop fs -ls |
| 3 | Jelentse a jelenleg csatlakoztatott fájlrendszeren felhasznált és rendelkezésre álló hely mennyiségét | $ hadoop fs -df hdfs: / |
| 4 | A HDFS kiegyensúlyozó kiegyensúlyozza az adatokat a DataNodes között, mozogva a blokkokat a túlhasználatból az alulhasznált csomópontokba. | $ hadoop kiegyensúlyozó |
| 5 | Súgó parancs | $ hadoop fs -help |
Köztes HDFS parancsok:
|
Köztes HDFS parancsok |
||
| Sr.No | HDFS parancs tulajdonság | HDFS parancs |
| 6 | létrehoz egy könyvtárat a megadott HDFS helyen | $ hadoop fs -mkdir / felhasználó / cloudera / |
| 7 | Adatokat másol az egyik helyről a másikra | $ hadoop fs -beviteli adatok / minta.txt / felhasználó / képzés / hadoop |
| 8 | Lásd az adott könyvtár által elfoglalt helyet a HDFS-ben | $ hadoop fs -du -s -h / felhasználó / cloudera / |
| 9 | Távolítson el egy könyvtárat a Hadoopból | $ hadoop fs -rm -r / felhasználó / cloudera / pigjobs / |
| 10 | Eltávolítja az összes fájlt az adott könyvtárból | $ hadoop fs -rm -skipTrash hadoop / kiskereskedelem / * |
| 11 | A szemetet ürítse ki | $ hadoop fs -expunge |
| 12 | másolja az adatokat a HDFS-be és a helyi hálózatba | $ hadoop fs -copyFromLocal / home / cloudera / minta / / user / cloudera / flume /
$ hadoop fs -copyToLocal / felhasználó / cloudera / pigjobs / * / home / cloudera / oozie / |
Speciális HDFS parancsok:
|
Köztes HDFS parancsok |
||
| Sr.No | HDFS parancs tulajdonság | HDFS parancs |
| 13 | fájl engedélyek módosítása | $ sudo -u hdfs hadoop fs -chmod 777 / felhasználó / cloudera / flume / |
| 14 | állítsa be a fájl replikációs tényezőjét | $ hadoop fs -setrep -w 5 / felhasználó / cloudera / pigjobs / |
| 15 | Számolja meg a könyvtárak, fájlok és byte-ok számát a hdfs alatt | $ hadoop fs -count hdfs: / |
| 16 | hogy a namenode létezzen biztonságos módban | $ sudo -u hdfs hdfs dfsadmin -safemode távozik |
| 17 | Hadoop formáz egy namenódot | $ hadoop namenode -format |
HDFS tippek és trükkök:
1) Gyorsabb helyreállítást érhetünk el, ha a fürtcsomópontok száma magasabb.
2) A tárolási időnkénti növekedés növeli a helyreállítási időt.
3) A Namenode hardverének nagyon megbízhatónak kell lennie.
4) Az ambari segítségével kifinomult monitorozás érhető el.
5) A rendszer éhezése csökkenthető a reduktorszám növelésével.
Ajánlott cikkek
Ez egy útmutató a HDFS parancsokhoz. Itt megbeszéljük a HDFS parancsokat, szolgáltatásokat, azok alapvető, köztes és fejlett parancsát, képi ábrázolással, tippeket és trükköket a parancsokkal kapcsolatban. A további javasolt cikkeken keresztül további információkat is megtudhat -
- Csomópont parancsok
- Matlab parancsok
- A DBMS előnyei
- Hadoop ökoszisztéma
- Hadoop fs parancsok