Bevezetés a MapReduce interjú kérdéseire és válaszaira
A MapReduce egy egyszerű, párhuzamos adatprogramozási modell, amelyet méretezhetőségre és hibatoleranciára terveztek. Azt mondhatjuk, hogy a MapReduce egy olyan keret, amely a csomópontok fogalmát használja a nagy adatkészletekben felmerülő problémák párhuzamosítására, ha helyi hálózat van, ugyanazt a hardvert használja, és ha a MapReduce földrajzilag eloszlik, különböző hardvert használ. A MapReduce alapvetően a Map () és a Reduce () funkcióból áll. Népszerűvé tette a nyílt forráskódú Hadoop projekt.
Az alábbiakban bemutatjuk a 9 fontos 2019-es MapReduce interjú kérdést és választ:
Ha olyan állást keres, amely a MapReduce-hez kapcsolódik, fel kell készülnie a 2019-es MapReduce interjúkérdésekre. Bár minden MapReduce interjú különbözik, és a munka mértéke szintén eltér, segíthetünk Önnek a MapReduce interjú kérdéseivel és a válaszokkal, amelyek segítenek abban, hogy megtegye az ugrást, és sikeres legyen az interjúban.
Ezeket a kérdéseket két részre osztják:
1. rész - MapReduce interjúkérdések (alapvető)
Ez az első rész a MapReduce interjúval kapcsolatos alapvető kérdéseket és válaszokat tartalmazza.
1. Mi a MapReduce?
Válasz:
A MapReduce egy egyszerű, párhuzamos adatprogramozási modell, amelyet méretezhetőségre és hibatoleranciára terveztek. Más szavakkal: ez egy olyan keret, amely a nagy adatsorokban párhuzamosítható problémákat dolgoz fel a csomópontok (számítógépek száma) fogalmának felhasználásával, amelyeket viszont klasztereknek osztályoznak, ha helyi hálózatról van szó, és ugyanazt a hardvert vagy rácsot használják, ha vannak. földrajzilag elosztva és különböző hardvereket használva. A MapReduce alapvetően egy Térkép () funkciót és egy Kicsinyítés () funkciót tartalmaz. A Google úttörője volt, és minden nap számos petabites adatot feldolgoz. A nyílt forráskódú Hadoop projekt népszerűvé tette, és a Yahoo, a Facebook és az Amazon közt csak néhányat említ.
2. Mire használják a MapReduce-ot a társaság?
Válasz:
Google
• Index létrehozása a Google Kereső számára
A pozicionális vagy nem pozicionális index létrehozásának folyamatát index-összeállításnak vagy indexelésnek nevezzük. A MapReduce szerepe az Index-felépítésben és nagy számítógépes klaszterek számára készült. A klaszter célja az olyan csomópontok vagy számítógépek számítási problémáinak megoldása, amelyek szokásos alkatrészekkel, nem pedig szuperszámítógéppel készültek.
• Cikkfürt a Google Hírek számára
Cikk-csoportosításhoz az oldalakat először osztályozzák annak alapján, hogy szükség van-e a csoportosításra. Az oldalak sok olyan információt tartalmaznak, amelyre nincs szükség a fürtözéshez. Ezután a cikk a kulcsszavak és a megadott súly alapján kerül vektor formába. Ezután algoritmusok felhasználásával csoportosulnak.
• Statisztikai gépi fordítás
A kétnyelvű szövegkorporok elemzéssel történő fordítása statisztikai modelleket generál, amelyek súlyok felhasználásával fordítják az egyik nyelvet a másikra, és a legvalószínűbbre fordítják.
Jehu
• „Web térkép”, amely a Yahoo! Keresés
A Google Hírek cikkfürtözéséhez hasonlóan a MapReduce-t a Yahoo! Felület.
• Spam észlelés a Yahoo! Levél
Facebook
•Adatbányászat
Az adatrobbanás legújabb trendje szükségessé vált olyan kifinomult módszerekre, amelyek az adatokat olyan részekre osztják, amelyek könnyen felhasználhatók az elemzés következő lépéséhez.
D optimalizálás
• Spam észlelés
Térjünk át a következő MapReduce interjúkérdésekhez.
3. Mik a MapReduce tervezési céljai?
Válasz:
• méretezhetőség nagy adatmennyiségekhez
Mivel a MapReduce egy olyan keret, amelynek célja a párhuzamosítható adatokkal való munka, azon csomópontok fogalmának felhasználásával, amelyek akár számítógépek száma akár klaszterekként vagy rácsokként is méretezhetők, így n számú számítógépes gép méretezhető. Tehát a MapReduce egyik kiemelkedő tervezési célja az, hogy méretezhető 1000-es gépekre és így 10 000-es lemezekre.
• Költséghatékonyság
Mivel a MapReduce az adatok párhuzamosításával működik a csomópontokon vagy a számítógépek számán, az alábbi okok miatt költséghatékony:
- Olvassa el az árufuvarozó gépeket a szuperszámítógép helyett. Bár olcsók, nem megbízhatók.
-Áru-hálózat
-Automatikus hibatolerancia, azaz kevesebb rendszergazda szükséges.
-Könnyen használható, azaz kevesebb programozót igényel.
4. Melyek a MapReduce kihívásai?
Válasz:
Ez egy gyakori, egy interjú során feltett MapReduce Interjú kérdése. A MapReduce fő kihívásai a következők:
-Olcsó csomópontok nem sikerülnek, főleg ha sok ilyen van
Az 1 csomópont hibáinak közti átlagos idő 3 év. A csomópontok közötti átlagos idő 1000 csomópontnál 1 nap. A megoldás az, hogy a hibatűrést maga a rendszer építi be.
-Az áruhálózat egyenlő vagy alacsony sávszélességet jelent
Az alacsony sávszélesség megoldása az, hogy a számításokat az adatokra toljuk.
- Az elosztott rendszerek programozása nehéz
Ennek megoldása az, hogy az adat-párhuzamos programozási modell szerint a felhasználók „térképet” és „csökkentést” írnak. A rendszer elosztja a munkát és kezeli a hibákat.
5. Mi a MapReduce programozási modell?
Válasz:
A MapReduce programozási modell kulcsfontosságú rekordoknak nevezett koncepción alapul. Ezenkívül paradigmákat biztosít a párhuzamos adatfeldolgozáshoz. Az adatok MapReduce-ben történő feldolgozásához mind a bemeneti adatokat, mind a kimenetet több kulcs-érték párt formátumára kell leképezni. Az egyetlen kulcs-érték párra rekordnak is hivatkoznak. A MapReduce programozási modell egy Map () funkcióból és egy Reduce funkcióból áll. Ennek modellje a következő.
Térkép () funkció: (K in, V in) list (K inter, V inter)
Reduce () funkció: (K inter, lista (V inter)) list (K out, V out)
2. rész - MapReduce interjúkérdések (haladó)
Vessen egy pillantást a MapReduce interjú kérdéseire.
6. Melyek a MapReduce végrehajtásának részletei?
Válasz:
MapReduce végrehajtás esetén egyetlen master vezérli a job végrehajtását több slave-en. A térképezőket inkább ugyanabba a csomópontba vagy ugyanabba a rackbe kell helyezni, mint a bemeneti blokkot, hogy ez minimalizálja a hálózat használatát. A térképezők a kimeneteket a helyi lemezre menti, mielőtt kiszolgálnák őket a reduktorokhoz. Ez lehetővé teszi a helyreállítást, ha egy reduktor összeomlik, és több reduktort tesz lehetővé, mint a csomópontok.
7. Mi az a kombinátor?
Válasz:
A félig reduktorként is ismert kombinátor úgy működik, hogy bemeneteket fogad el a Map osztályból, és a kimeneti kulcs-érték párokat továbbítja a Reducer osztályba. Az egyesítő fő funkciója, hogy ugyanazzal a kulccsal összefoglalja a térkép kimeneti rekordjait. Más szavakkal, az egyesítő az ugyanazon térkép által előállított ismételt kulcsok helyi összesítő funkciója. Olyan asszociatív funkciókhoz működik, mint a SUM, COUNT és MAX. Csökkenti a közbenső adatok méretét, mivel az összes ismétlődő kulcs értékének összesítésének összefoglalója.
Térjünk át a következő MapReduce interjúkérdésekhez.
8.Miért sertés? Miért nem a MapReduce?
Válasz:
• A MapReduce lehetővé teszi a programozó számára, hogy egy térkép funkciót, majd egy redukciós funkciót hajtson végre, ám kihívást jelenthet az adatfeldolgozás ebbe a mintába illesztése, amelyre gyakran több MapReduce szakasz szükséges.
• A Pig esetében az adatstruktúrák sokkal gazdagabbak, mivel többértékűek és egymásba ágyazottak, és az adatokhoz alkalmazható transzformációk sokkal erősebbek. Például olyan csatlakozásokat tartalmaznak, amelyek a MapReduce számára nem lehetséges.
• A Pig egy olyan program, amely átalakítja az átalakítást MapReduce feladatok sorozatává.
9.MapReduce A kritika
Válasz:
A MapReduce egyik kiemelkedő kritikája az, hogy a fejlesztési ciklus nagyon hosszú. A térképezők és redukciók írása, a kód összeállítása és csomagolása, a feladat benyújtása és az eredmények beolvasása időigényes. Még a streaming-rel is, amely eltávolítja a fordítási és csomagolási lépést, a tapasztalat még hosszú ideig tart.
Ajánlott cikk
Ez egy útmutató a MapReduce interjúkérdések és válaszok listájához, így a jelölt könnyen meg tudja oldani ezeket a MapReduce interjúkérdéseket. A következő cikkeket is megnézheti további információkért -
- Fontos adatanalitikai interjúkérdések
- 10 legjobb tervezési minta interjúkérdés
- Elasticsearch interjúkérdések
- A leghasznosabb Ruby-interjúval kapcsolatos kérdések
- Hogyan működik a MapReduce?