Bevezetés az Apache PIG interjúkérdéseire és válaszaira
Tehát végül megtalálta álmai állását az Apache PIG-ben, de azon gondolkodunk, hogyan lehet kitörni a 2019-es Apache PIG interjút, és mi lehet az Apache PIG interjúval kapcsolatos lehetséges kérdések. Minden Apache PIG interjú különbözik, és a munka köre is eltérő. Ezt szem előtt tartva megterveztük a leggyakoribb Apache PIG interjúkérdéseket és válaszokat, amelyek segítenek az Apache PIG interjú sikerében.
Az alábbiakban felsoroljuk a 2019-es Apache PIG interjú kérdéseit, amelyeket főként feltesznek
1. Melyek a legfontosabb különbségek a MapReduce és az Apache Pig között?
Válasz:
Az alábbiakban bemutatjuk az Apache Pig és a MapReduce közötti főbb különbségeket, amelyek miatt az Apache Pig bekerült a képbe:
• A MapReduce alacsony szintű adatfeldolgozási modell, míg az Apache Pig magas szintű adatfolyam-platform
• A bonyolult Java implementációk írása nélkül a MapReduce-ban a programozók könnyen elérhetik ugyanazokat a megvalósításokat a Pig Latin használatával.
• Az Apache Pig olyan beágyazott adattípusokat biztosít, mint a táskák, összeállítások és térképek, mivel hiányoznak a MapReduce-ból.
• A sertés számos beépített operátorral támogatja az adatműveleteket, például szűrőket, csatlakozásokat, rendelést, rendezést stb. Mivel ugyanolyan funkció végrehajtása a MapReduce-ban óriási feladat.
2. Magyarázza el a MapReduce használatát sertésben.
Válasz:
Az Apache Pig programokat Pig Latin néven lekérdező nyelven írják, amely hasonló az SQL lekérdezési nyelvhez. A lekérdezés végrehajtásához végrehajtási motorra van szükség. És a Pig motor átalakítja a lekérdezéseket MapReduce jobokká, így a MapReduce végrehajtó motorként működik, és a programok futtatásához szükséges.
3. Magyarázza el a sertés felhasználását.
Válasz:
Három kategóriában használhatjuk a sertést:
• ETL adatvezeték: Elősegíti az adattárházunk feltöltését. A sertés az adatokat egy külső alkalmazásba továbbíthatja, majd megvárja, amíg elkészül, így megkapja a feldolgozott adatokat, és onnan folytatja. A sertés esetében ez a leggyakoribb eset.
• Nyers adatok kutatása.
• Iteratív feldolgozás.
4. Hasonlítsa össze az Apache Pig és az SQL fájlokat.
Válasz:
• Az Apache Pig különbözik az SQL-től az ETL-hez való felhasználásában, lusta értékelésben, az adatok tárolásában az adott időpontban a csővezetékben, a csővezeték-hasítások támogatásáról és a végrehajtási tervek kifejezett deklarálásáról. Az SQL (Strukturális lekérdezési nyelv) a lekérdezésekre koncentrál, amelyek egyetlen eredményt adnak. Az SQL-nek nincs beépített mechanizmusa az adatfeldolgozási folyam felosztásához és az egyes alfolyamokra különböző operátorok alkalmazásához.
• Az Apache Pig lehetővé teszi a felhasználói kódok beillesztését a folyamat folyamatának bármely pontjára, míg ha az SQL-t, ahol az adatokat kell felhasználni, először az adatbázisba kell importálni, majd megkezdődik a tisztítás és az átalakítás folyamata.
5. Magyarázza meg a Pig különféle bonyolult adattípusait.
Válasz:
Az Apache Pig három összetett adattípust támogat -
• Térkép - Ezek kulcsfontosságú értéktárolók, amelyek a # használatával vannak összekapcsolva.
Példa: ('city' # 'pune', 'pin' # 411045) • Tuples - Csakúgy, mint egy táblázat sorában, ahol a különféle elemeket vessző választja el egymástól. A Tuples-nek több attribútuma lehet.
• Táskák - rendezetlen gyűjtemény a gyűjteményekből. A táska több másolatot készít.
Példa: (('Mumbai', 022), ('Újdelhi', 011), ('Kolkata', 44))
6. Magyarázza el a Pig alkalmazásban elérhető különböző végrehajtási modelleket.
Válasz:
Három különböző végrehajtási mód érhető el a Pig alkalmazásában,
• Interaktív vagy Grunt mód.
Interaktív mód vagy morgásmód: A sertés interaktív héját grund shellnek hívják. Ha nem ad meg fájlt a Pig alkalmazásban, akkor elindul.
• Kötegelt vagy szkript üzemmód.
A Pig végrehajtja a parancsfájlban megadott parancsokat.
• Beágyazott mód
Beágyazhatjuk a Pig programokat a Javaba, és a Java programjait is futtathatjuk.
7. Magyarázza meg a Pig Script végrehajtási terveit (logikai és fizikai terv)
Válasz:
Logikai és fizikai terveket hozunk létre a sertés szkript végrehajtása során. A sertés szkriptek tolmács ellenőrzésen alapulnak. A logikai tervet szemantikai ellenőrzéssel és alapvető elemzéssel állítják elő, és a logikai terv létrehozása során nem történik adatfeldolgozás. A Pig szkript minden sorához a szintaxis ellenőrzést hajtják végre az operátorok számára, és létrejön egy logikai terv. Ha hibát észlel a szkriptben, kivétel történik, és a program végrehajtása befejeződik, különben a szkript minden egyes állításának megvan a saját logikai terve.
A logikai terv az operátorok gyűjteményét tartalmazza a szkriptben, de nem tartalmazza az operátorok közötti éleket.
A logikai terv elkészítése után a szkript végrehajtása a fizikai tervbe kerül, ahol a fizikai operátorok leírása található, amelyet az Apache Pig fog használni a Pig szkript végrehajtásához. A fizikai terv többé-kevésbé hasonlít a MapReduce jobok sorozatára, de akkor a tervnek nincs hivatkozása arra, hogy hogyan fogja végrehajtani a MapReduce-ban. A fizikai terv létrehozása során a csoportos logikai operátort 3 fizikai operátorrá alakítják, nevezetesen: Helyi átrendezés, Globális átrendezés és Csomag. A betöltési és tárolási funkciók általában a fizikai tervben oldódnak meg.
8. Milyen hibakeresési eszközöket használnak az Apache Pig szkriptekhez?
Válasz:
Leírja és magyarázza az Apache Pig fontos hibakeresési segédprogramjait.
• A Magyarázó segédprogram hasznos a Hadoop fejlesztõinek, amikor hibaüzeneteket próbálnak kipróbálni vagy a PigLatin parancsfájlokat optimalizálni. A magyarázat alkalmazható a szkript adott álneveire, vagy az egész szkriptre alkalmazható a grunt interaktív héjában. A magyarázat segédprogram több gráfot hoz létre szöveges formátumban, amelyet fájlba lehet nyomtatni.
• A hibakeresési segédprogram leírása hasznos a fejlesztők számára a Pig szkriptek írásakor, mivel megmutatja a szkript relációjának sémáját. Azoknak a kezdőknek, akik megpróbálják megtanulni az Apache Pig-ot, a leíró segédprogram segítségével megérthetik, hogy az egyes operátorok hogyan módosítják az adatokat. A sertésírásnak több leírása lehet.
9. Mire gondol néhány az Apache Pig felhasználási eset?
Válasz:
Az Apache Pig big data eszközt különösen iteratív feldolgozásra, nyers adatok kutatására és a hagyományos ETL adatcsatornákra használják. Mivel a Pig működhet olyan körülmények között, amikor a séma nem ismert, következetlen vagy hiányos, ezért széles körben használják azokat a kutatók, akik az adatok felhasználását még azelőtt szeretnék felhasználni, hogy megtisztítják és az adattárházba betöltik.
• A viselkedés-előrejelzési modellek felépítéséhez például egy weboldal felhasználhatja a látogatók különféle hirdetésekre, képekre, cikkekre stb. Adott válaszának nyomon követésére.
10. Jelölje ki a Pig és a Cogroup operátorok közötti különbséget.
Válasz:
Mindkét operátor képes dolgozni egy vagy több kapcsolattal. A csoport és a Cogroup operátorok azonosak. A csoport operátor az összes rekordot ugyanazzal a kulccsal gyűjti. A Cogroup egy csoport és csatlakozás kombinációja, ez egy csoport általánosítása, ahelyett, hogy egy bemenet rekordjait gyűjtnék egy kulcs függvényében, egy n bemenetet rögzít egy kulcs alapján. Egy időben akár 127 kapcsolatot is csoportosíthatunk.
Ajánlott cikkek
Ez egy útmutató az Apache PIG interjú kérdéseinek és válaszai listájának, így a jelölt könnyen meg tudja oldani ezeket az Apache PIG interjú kérdéseit. Ez a cikk minden hasznos Apache PIG interjú kérdést és választ tartalmaz, amelyek segítenek az interjúban. A következő cikkeket is megnézheti további információkért -
- Apache Pig vs Apache Hive
- 10 legnépszerűbb kemény interjú kérdés
- 8 hatékony lépés a belső interjú előkészítéséhez
- Fontos tippek a panelinterjú túléléséhez (Hasznos)