Bevezetés a kaptárinterjúba. Kérdések és válaszok
Az új adatkorszakban a Hive nyílt forráskódú, petabájt méretű ETL és Adatraktározási infrastruktúra eszközcsomag, amely strukturált és nem strukturált adatokat tárol az elosztott fájlrendszerre (HDFS)
hatalmas mennyiségű adatkészlet elemzéséhez, lekérdezéséhez és bányászatához, lehetővé téve az SQL-szerű HiveQL (HQL) nyelv használatát, valamint a Hadoop MapReduce megtervezésével a lekérdezés könnyû végrehajtását.
A Hive a Hadoop tetejére épül a Big Data feldolgozására és elemzésére, és megkönnyíti a lekérdezést.
A kaptárt először a Facebook hozta létre, később tovább fejlesztette és nyílt forrásként fejlesztette ki az Apache Software Foundation, és Apache Hive-nek nevezte. Sok vállalat most használja az Apache Hive szolgáltatást Big Data megoldásaikhoz.
Ha olyan munkát keres, amely a Hive-vel kapcsolatos, akkor fel kell készülnie a 2018-as Hive interjúkérdésekre. Bár minden interjú különbözik, és a munka mértéke szintén különbözik, segíthetünk nekünk a 2018 legfontosabb kaptárinterjúval kapcsolatos kérdéseiben és válaszaiban, amelyek segítenek abban, hogy megtegye az ugrást, és sikeres legyen az interjúban.
Az alábbiakban felsoroljuk a kaptárinterjúval kapcsolatos kérdéseket, amelyeket leginkább egy interjúban kérnek fel. Ezeket a kérdéseket két részre osztják:
1. rész - Kaptárinterjúval kapcsolatos kérdések (alapvető kérdések)
Ez az első rész a kaptárinterjúval kapcsolatos alapvető kérdéseket és válaszokat tartalmazza.
1. Sorolja fel a kaptár-építészet különféle alkotóelemeit?
Válasz:
Az alábbiakban felsoroljuk a Hive építészet öt alapvető elemét:
• Felhasználói felület (UI): Kommunikátorként működik a felhasználók és az illesztőprogramok között, amikor a felhasználó felírja a lekérdezéseket, hogy az UI elfogadja, és futtatja az illesztőprogramon. Kétféle felület érhető el: parancssori és GUI felület.
• Illesztőprogram: Fenntartja a HiveQL lekérdezés életciklusát. Megkapja a lekérdezéseket a felhasználói felületről, és létrehozza a lekérdezés feldolgozásához szükséges munkamenetet.
• Compiler: A lekérdezési terveket megkapja az illesztőprogramtól, és megkapja a szükséges információkat a Metastore-tól a terv végrehajtásához.
• Metastore: Táblázatként tárolja az adatokkal kapcsolatos információkat; lehet belső vagy külső asztal. A metaadatot elküldi a fordítónak a lekérdezés végrehajtásához.
• Végrehajtó motor: A kaptárszolgáltatás végrehajtja az eredményt végrehajtó motorban; végrehajtja a lekérdezést a MapReduce-ban az adatok feldolgozása céljából. Felelőssége az egyes szakaszok minden szakaszának ellenőrzése.
2. Melyek a különféle üzemmódok, amelyekben a Hive működhet?
Válasz:
Ez a közös kaptárinterjúval kapcsolatos kérdés, amelyet egy interjúban feltettek. A kaptár az adat méretétől függően két üzemmódban működhet,
Ezek a módok:
• Térkép csökkentési mód
• Helyi mód
3. Melyek azok a forgatókönyvek, amelyekben a Kaptár használható és nem használható?
Válasz :
Adatraktár-alkalmazások létrehozásakor, ha statikus adatai vannak, amikor az alkalmazásnak nincs szüksége nagy válaszidőre, ha az adatmennyiség hatalmas, amikor az adatok nem változnak gyorsan, és amikor lekérdezéseket használ szkriptek helyett. A kaptár csak az OLAP tranzakciókat támogatja, nem alkalmas az OLTP tranzakciókra.
Menjünk a következő kaptárinterjúra vonatkozó kérdésekhez.
4. Milyen fájlformátumokat támogat a Hive? Sorolja fel a HIVE által támogatott alkalmazások típusát?
Válasz:
Alapértelmezés szerint a Hive támogatja a szöveges fájl formátumot, és támogatja a bináris fájl formátumot is, mint például a szekvenciafájl, ORC fájlok, parketta fájlok, Avro Data fájlok.
• Szekvenciafájl: Ez általában egy bináris formátumú fájl, amely tömöríthető és elosztható.
• ORC fájl: Az Optimalizált Sor oszlopos fájl oszlop alapú fájl és oszlop-orientált tároló fájl.
Parketta fájl: Oszlop-orientált bináris fájl, nagy hatékonyságú nagyméretű lekérdezésekhez.
• Avro adatfájl: megegyezik a szekvenciafájl formátumával, amely osztható, tömöríthető és sororientált fájl.
A kaptárban engedélyezett karakterlánc-adattípus maximális mérete 2 GB.
A Hive egy olyan adattárház-keretrendszer, amely alkalmas azoknak az alkalmazásoknak, amelyek írása Java, C ++, PHP, Python vagy Ruby.
5. Milyen típusú táblák állnak rendelkezésre a Hive-ben?
Válasz:
Kétféle típusú tábla létezik a Hive alkalmazásban:
• Menedzselt táblák: Az adatok és a séma a Hive irányításában vannak.
• Külső táblák: Csak a séma irányítja a Kaptárt.
2. rész - Kaptárinterjúval kapcsolatos kérdések (haladó)
Vessen egy pillantást a speciális kaptárinterjúra vonatkozó kérdésekre.
6. Mi a Metastore a kaptárban? Sorolja fel és magyarázza a Hive Metastores konfiguráció különféle típusait?
Válasz:
A Metastore in Hive a metaadat-információk tárolására szolgál, ez a Hive központi adattára. Ez lehetővé teszi a metaadat-információk külső adatbázisban történő tárolását. Alapértelmezés szerint a Hive a metaadatot Derby adatbázisban tárolja, de más adatbázisokban is tárolható, például Oracle, MySql stb.
Háromféle Metastore konfiguráció létezik:
• Beágyazott metastore: Alapértelmezett mód; Helyileg férhet hozzá a Hive könyvtárhoz, az összes parancssori műveletet beágyazott módban hajtják végre. A Hive szolgáltatás, a metastore szolgáltatás és az adatbázis ugyanabban a JVM-ben fut.
• Helyi metastore: Az adatokat külső adatbázisban, például MySql vagy Oracle tárolja. A Hive szolgáltatás és a metastore szolgáltatás ugyanabban a JVM-ben fut, csatlakozik az különálló JVM-ben futó adatbázishoz.
• Távoli metastore: A távoli módot használja a lekérdezések futtatásához, itt a metastore szolgáltatás és a kaptárszolgáltatás külön JVM-en fut. A rendelkezésre állás növelése érdekében több metastore szerverrel is rendelkezhet.
7. Mi a Hive Query Processor? Melyek a Hive Query Processor különféle összetevői?
Válasz:
Ez az interjú során gyakran feltett kérdések a kaptárinterjúval kapcsolatban. A Hive Query Processor segítségével konvertálható az SQL MapReduce jobokká. A függőségek sorrendje alapján a feladatok végrehajtásra kerülnek.
A Hive Query Processor összetevői az alábbiakban vannak felsorolva:
• Szemantikus elemző
• UDF és UDAF
• Optimizer
•Operátor
•Elemző
• Végrehajtó motor
• Típus ellenőrzés
• Logikai terv készítése
• Fizikai terv létrehozása
8. Mi az Object-Inspector funkciója a kaptárban?
Válasz:
Kaptárból áll, amelyet arra használnak, hogy azonosítsák az egyes oszlopok szerkezetét és a sorobjektumok belső szerkezetét. A több formátumban tárolt összetett objektumok a kaptár Object-Inspector alkalmazásával érhetők el.
Az Object-Inspector azonosítja az objektum szerkezetét és az objektumon belüli belső mezők elérésének módját.
Menjünk a következő kaptárinterjúra vonatkozó kérdésekhez.
9. Milyen különféle módokon csatlakoztathatja az alkalmazásokat a Hive Serverhez?
Válasz:
Az alkalmazások Hive szerverhez történő csatlakoztatásának három módja van:
• Thrift Client: Ez a parancs minden parancsának futtatására szolgál más programozási nyelv, például Java, C ++, PHP, Python vagy Ruby felhasználásával.
• ODBC illesztőprogram: Ez támogatja az ODBC protokollt
• JDBC illesztőprogram: Ez támogatja a JDBC protokollt
10. Mi az alapértelmezett olvasási és írási osztály a Hive-ben?
Válasz:
Az alábbiakban olvashatók és olvashatók a Hive-ben elérhető osztályok:
• TextInputFormat - Ez az osztály egyszerű szöveges formátumú adatok olvasására szolgál.
• HiveIgnoreKeyTextOutputFormat - Ezt az osztályt egyszerű szöveges formátumú adatok írására használják.
• SequenceFileInputFormat - Ez az osztály az adatok Hadoop szekvencia fájl formátumban történő olvasására szolgál.
• SequenceFileOutputFormat - Ez az osztály Hadoop Sequence fájl formátumban történő adatok írására szolgál.
Ajánlott cikk
Ez egy útmutató a Kaptárinterjúval kapcsolatos kérdések és válaszok listájához, így a jelölt könnyen meg tudja oldani ezeket a Kaptárinterjúval kapcsolatos kérdéseket. A következő cikkeket is megnézheti további információkért -
- Az 5 legnépszerűbb DBA interjúkérdés és válasz
- 12 legfélelmetesebb GitHub interjú kérdés és válasz
- 15 legfontosabb ruby-interjú kérdés és válasz
- A 10 leghasznosabb HBase interjúkérdés