Különbség a térképcsökkentés és a fonal között
A fonal az Yet Another Resource Negotiator kifejezést jelenti, ez az erőforrások (memória és CPU) kezelésének új kerete. Segít bármilyen elosztott alkalmazás fejlesztésében, biztosítja a szükséges démonokat és API-kat. A YARN másik fontos jellemzője, hogy kezeli és ütemezi az alkalmazás erőforrás-kérelmét, és elősegíti a kérelem végrehajtásának folyamatát. A YARN általános platform minden elosztott alkalmazás futtatásához, a Map Reduce 2. verzió az elosztott alkalmazás, amely a YARN tetején fut, míg a Map Reduced a Hadoop komponens feldolgozó egysége, az adatokat párhuzamosan dolgozza fel az elosztott környezetben. Tehát alapvetően a hatalmas adatkomponensek térképpel történő csökkentése érdekében dolgozza fel az adatokat és tárolja a HDFS-ben oly módon, hogy a visszakeresés könnyebb, mint a hagyományos tárolásnál.
Head to Head összehasonlítás a MapReduce és a fonal között (Infographics)
Az alábbiakban a top 10 összehasonlítás található a MapReduce és a fonal között
Legfontosabb különbség a MapReduce és a fonal között
- A Hadoop 1-ben két összetevőből áll: az első a HDFS (Hadoop Distributed File System), a második pedig a Map Reduce. Míg a Hadoop 2-ben kétkomponensű HDFS és YARN / MRv2 is van (általában YARN-nek hívjuk a Map redukció 2-es verzióját).
- A Map Reduce alkalmazásban, amikor a Map-redukció nem működik, akkor automatikusan minden szolga csomópontja leáll, ez az az eset, ahol a feladat végrehajtása megszakíthat, és egyetlen hibapontnak nevezik. A YARN architektúrája miatt legyőzi ezt a problémát, a YARN rendelkezik az aktív névcsomópont, valamint a készenléti névcsomópont fogalmával. Amikor az aktív csomópont egy ideig leáll, a passzív csomópont aktív csomópontként kezd működni, és folytatja a végrehajtást.
- A Map redukciónak van egy master és több slave architektúrája. Ha a master-slave leáll, akkor a teljes slave leáll, ez a HADOOP1 egyetlen hibapontja, míg a YARN architektúrán alapuló HADOOP2 több master és slave koncepcióval rendelkezik, Ha az egyik mester lemegy, akkor egy másik mester folytatja a folyamatot, és folytatja a végrehajtást.
- Amint az alábbi ábrán láthatjuk, a különbség mind a HADOOP1, mind a HADOOP2 ökoszisztémában. Az összetevők szerint a YARN erőforrás-kezelés kölcsönhatásba lép a Map-csökkentő és a HDFS-sel.
Tehát alapvetõen a YARN felelõs az erõforrás-gazdálkodásért, ami azt a feladatot hajtja végre, amellyel a rendszer a YARN dönt, míg a map redukció egy programozási keret, amely felelõs egy adott feladat végrehajtásáért, tehát alapvetõen a map-redukciónak kétkomponensû mapper és reduktor van egy program végrehajtására.
- A Térkép alkalmazásban csökkentse az egyes adatcsomópontok egyedileg futtatását, míg a Fonalban az összes adatcsomópontot egy csomópontkezelő használja.
- A Térkép csökkentése a Job Tracker segítségével feladatot hoz létre és hozzárendelhető a feladatkövetőhöz az adatok miatt az erőforrás menedzselése nem lenyűgöző, mivel néhány adatcsomópont üresen marad és nincs haszna, míg a YARN-ban minden erőforrás-kezelő rendelkezik fürt, és minden adatcsomópont egy Node Manager-et futtat. Minden feladathoz egy szolga csomópont lesz az alkalmazás mester, amely figyelemmel kíséri az erőforrásokat / feladatokat.
MapReduce vs fonal összehasonlító táblázat
| Az összehasonlítás alapja | YARN | Térkép csökkentése |
| Jelentés | A YARN újabb erőforrás-tárgyalót jelent. | A Map Reduce önmeghatározó. |
| Változat | Bemutatkozás a Hadoop 2.0-ban | Bemutatkozás a Hadoop 1.0-ban |
| Felelősség | Jelenleg a YARN felelős az erőforrás-kezelés részért. | A Map csökkent korábbi felelős volt az erőforrás-kezelésért és az adatfeldolgozásért |
| Végrehajtási modell | A fonalvégrehajtási modell általánosabb, mint a Map csökkentésnél | Kevésbé általános, mint a fonalak. |
| Alkalmazás végrehajtása | A YARN végrehajthatja azokat az alkalmazásokat is, amelyek nem követik a Map Reduce modellt | A Map Reduce végrehajthatja saját modell alapú alkalmazását. |
| Építészet | A YARN bekerül az MR2-be a job tracker és a task tracker tetején. A munkakövető és a feladatkövető alkalmazás helyett a mester lép a képbe. | Az MR1 korábbi verziójában a YARN nincs ott. A YARN helyett a munkakövető és a feladatkövető volt jelen, amelyek segítenek az alkalmazás vagy a feladatok végrehajtásában. |
| Rugalmasság | A fonal elszigeteltebb és méretezhetőbb | Kevésbé skálázható, mint a YARN. |
| Démonok | A YARN névnévvel, adatcsomóponttal, másodlagos névcsomóponttal, erőforrás-kezelővel és csomópontkezelővel rendelkezik. | A Map Reduce névcsomópontot, adatcsomópontot, másodlagos névcsomópontot, feladatkövetőt és feladatkövetőt tartalmaz. |
| Korlátozás | A YARN-ben nincs fogalom az egyetlen meghibásodási pontról, mivel több masterrel rendelkezik, így ha az egyik sikertelen lett, egy másik mester felveszi és folytatja a végrehajtást. | Egyetlen meghibásodási pont, alacsony erőforrás-felhasználás (legfeljebb 4200 klaszter a YAHOO-nál) és kevesebb skálázhatóság a YARN-hoz képest |
| Méret | Alapértelmezés szerint egy adatcsomópont mérete a YARN-ben 128 MB | Alapértelmezés szerint az Adatcsomópont mérete a Map redukcióban 64 MB. |
Következtetés - MapReduce vs fonal
A Hadoop 1-ben, amely a Map Reduce-en alapul, számos kérdés van, amelyeket a Hadoop 2-ban fonallal lehet legyőzni. A Hadoophoz hasonlóan az 1 job tracker felel az erőforrás-kezelésért, de a YARN fogalma az erőforrás-kezelő, valamint a csomópont-kezelő is, amely az erőforrás-kezelést fogja végezni. A Map redukciónak egyetlen hibapontja van, azaz a Job tracker, ha a job tracker nem működik, akkor újra kell indítanunk a teljes fürtünket, és újra végrehajtanunk a feladatot az Initial-tól. Valódi forgatókönyv szerint egyik szervezet sem akarja vállalni ezt a fajta kockázatot, különösen a bankvédelem területén. Az a szervezet, amely racionalizálja az adatokat, nem lesz hajlandó vállalni az ilyen típusú kockázatot. Néhány perc elteltével elveszítik adataikat, és kritikus üzleti hatással lehetnek. Tehát a YARN jobb eredményt nyújt a Map-csökkentéshez képest.
Ajánlott cikk
Ez egy útmutató a MapReduce vs fonalhoz, azok jelentéséhez, a fej közötti összehasonlításhoz, a legfontosabb különbségekhez, az összehasonlító táblázathoz és a következtetésekhez. A következő cikkeket is megnézheti további információkért -
- A MapReduce vs Spark 15 legjobb tudnivalója
- A legjobb 5 különbség a Hadoop és a MapReduce között
- 10 hasznos különbség a Hadoop és a Redshift között
- Apache Hadoop vs Apache Spark | A tíz legjobb összehasonlítás, amit tudnod kell!
- Hogyan működik a MapReduce?