Bevezetés a Hadoop ütemezőkbe
Ha Hadoopról beszélünk, akkor az első dolog, ami felmerül a fejünkben, a nagy adatok. De vajon gondolkodtunk már azon, hogy a Hadoop önmagában nem csupán technológia, hanem sok eszközöket és technikákat foglal magában benne, tehát hogy pontosan miként tudjuk elérni azt, amit a Hadoop célja automatikusan megvalósít. A válasz erre a kérdésre a Hadoop ütemezők felhasználása.
Ez lehetővé teszi a rendszer magas szintű feldolgozását, és általános célú rendszerként is ismert, amely az adat- és információkészlet elosztási szintjén működik. Ez egy többfeladatos rendszer, amelyet több felhasználó és feladat több adatkészletének egyidejű feldolgozására használnak. Korábban csak egy ütemezőt használtak az összes feladathoz, de most a Hadoop ütemezőit használják a JobTracker logikával együtt, és ezeket a Hadoop is támogatja.
A 4 legnépszerűbb Hadoop ütemezőtípus
Különböző típusú Hadoop ütemezők vannak, amelyeket gyakran használunk:
1. Hadoop Először az ütemezőben
- Ahogy a neve is sugallja, ez az egyik legrégebbi feladatütemező, amely az első be és az első elvén működik. Alapvetõen, amikor olyan folyamatról beszélünk, mint például a JobTracker, akkor a munkák húzásáról a várólistáról kell beszélni, amelyet gyakran állítunk munka sornak.
- E munka sor szerint a munka legrégebbi, azaz az első, aki az első lesz a végrehajtáshoz első.
- Ezt mindig úgy hitték, hogy sokkal egyszerűbb megközelítés, mint a többi ütemezési technika, ezért nem sokat gondoltak arra, hogy ezt a technikát csak úgy kapják meg, hogy új, jobb ütemezési képességű megközelítéseket találjanak, mivel magukban foglalják a méret és a munka prioritásainak fogalmait is.
2. Hadoop kapacitás ütemező
- A Hadoop Capacity ütemezője többé-kevésbé hasonlít a FIFO megközelítésre, azzal a különbséggel, hogy a job prioritásaként is használja. Ez kissé eltérő megközelítést alkalmaz, ha az ütemezés több felhasználós szintjéről beszélünk.
- Ez ismert, hogy ütemezi és szimulálja egy külön MapReduce-fürtöt minden szervezet vagy felhasználó számára, és ezt a FIFO típusú ütemtervvel együtt végzik.
3. Hadoop Fair Type ütemező
- Amikor szükség van külön és ésszerű mennyiségű klaszterkapacitásra az idővel és az időtartammal, akkor a Hadoop vásár ütemezőjét használjuk. Ez akkor is hasznos, ha az összes klasztert megkapja, még akkor is, ha egy adott munka futó állapotban van.
- Ezenkívül a fürt összes szabad rése az összes feladathoz meg van adva, oly módon, hogy minden felhasználó megkapja a klaszter részének normalizált részét, mivel több feladat hasznos lesz a benyújtáshoz.
- Ha van olyan pool, amely még nem kapta meg a tisztességes részesedés részét és a normalizált részesedést ésszerűen jó ideig és időtartamra, akkor a mentesség jön létre, ezáltal megsemmisíti az összesített feladatokat, és képes lesz arra, hogy biztosítsa ezt a poolot. résidők kapacitás alatt történő futtatáshoz.
- Ezenkívül ez a járulékos modul is ismert, ami azt jelenti, hogy a Hadoop vezérlő és valós ütemező alapú könyvtárának a lib alapú könyvtárba másolásával és a JAR fájl megfelelő helyre történő elhelyezésével ez az ütemezési technika engedélyezhető. Az egyetlen tennivaló a feladatütemező tulajdonságának beállítása a mapred.FairScheduler számára.
4. Az ütemezővel kapcsolatos egyéb megközelítések
- A Hadoop biztosítja a virtuális fürtök biztosítását, ami azt jelenti, hogy minimalizálni lehet a fizikai tényleges fürtök szükségességét, és ezt a technikát HOD (Hadoop on Demand) néven ismerték el.
- A Torque-alapú erőforrás-kezelő használatával tartja fenn a csomópontokat és azok elosztását a virtuális fürt igénye szerint.
- A betöltés és a rendszer inicializálására szolgál, amely a virtuális és nem fizikai fürtön belüli adott csomópontokon alapul, valamint a kiosztott csomópontokkal együtt, csak akkor, ha a konfigurációs fájlok automatikusan elkészülnek.
- A HOD-klaszter viszonylag független módon is használható lenne, miután az inicializálás megtörtént. Dióhéjban egy olyan dióhéj modell, amelyet ezeknek a nagy Hadoop-fürtöknek a telepítéséhez használnak, a felhő infrastruktúráján belül van, és ezt nevezzük HOD-nak. Viszonylag kevesebb csomópontot oszt meg, és ezért nagyobb biztonságot nyújt.
A Hadoop ütemezők használatának fontossága
- A Hadoop ütemezők típusaitól egyértelművé kell tenni, hogy ezen Hadoop ütemezők használata mennyire fontos. Ha nagy fürtöt használ, amelynek különböző feladat típusai, prioritásai és méretei több ügyféllel vannak együtt, akkor válassza ki a megfelelő Hadoop ütemezőt, amely fontos lesz.
- Ez fontos, mivel garantálja a kihasználatlan kapacitáshoz való hozzáférést és az erőforrások optimális felhasználását azáltal, hogy a sorokon belül a munkahelyeket hatékonyan rangsorolja. Annak ellenére, hogy a Hadoop ütemezőknek ez a része viszonylag egyszerű, mivel a tisztességes ütemezők használata többnyire a megfelelő választás, ha különbség van az egy szervezeten belül futó fürtök száma és típusa között.
- Ez a tisztességes ütemező továbbra is felhasználható a feladatok készlet-kapacitásának biztosítására és nem egyenletes eloszlására, és ez sokkal egyszerűbb és konfigurálhatóbb módon történik. A tisztességes ütemező akkor is megment, amikor a változatos típusú munkahelyek jelenlétéről beszélünk, mivel felhasználható a nagyobb válaszadási idő biztosítására viszonylag kisebb munkahelyeknél, amelyek keverednek a nagyobb típusú munkákkal, és ezek támogatása szerepel a a modellek interaktív felhasználása.
- A kapacitásütemezők akkor hasznosak, ha inkább a sorok miatt aggódik, ahelyett, hogy a létrehozott készletek szintje lenne, valamint a térkép konfigurálható szintje és a jobok csökkentésére szolgáló résidők is rendelkezésre állnak, és a sor megfizetheti a fürt garantált kapacitását.
Következtetés
Ebben a bejegyzésben elolvastuk a Hadoop ütemezőket, azok jelentését, bevezetését, a Hadoop ütemezők típusát, funkcióit és megismerkedtünk ezen Hadoop ütemezők fontosságával. Ha a nagy adatökoszisztémához és a környezethez kapcsolódunk, akkor a Hadoop ütemezőkről gyakran nem beszélnek, de rendkívüli jelentőséggel bírnak, és nem engedhetik meg maguknak, hogy maradjanak. Remélem tetszett a cikkünk.
Ajánlott cikkek
Ez egy útmutató a Hadoop Ütemezők számára. Itt tárgyaljuk a Hadoop ütemező bevezetését és a top 4 típusát annak használatának fontosságával. A következő cikkeket is megnézheti további információkért -
- Swing alkatrészek Java-ban
- JTabbedPane Java-ban
- Védett kulcsszó a Java-ban
- JTextArea Java
