Bevezetés az adatmérnök interjúval kapcsolatos kérdések és válaszok
Az adatgyűjtés olyan kifejezés, amelyben mindenki tisztában van vele, és nagyon népszerű a Big Data területén. Az adatgyűjtés az adatinfrastruktúrára vagy az adatok architektúrájára utal. A különböző forrásokból, például a közösségi médiából, a mobiltelefonokból, a www (internet) -ből származó nyers adatokat átalakítani, megtisztítani, profilozni és összesíteni kell az üzleti igényekhez. Ezt a nyers adatot Dark Data-nak is nevezik. Az adatfeldolgozási rendszer megtervezésének, megtervezésének és megvalósításának gyakorlata elősegíti az adatok konvertálását megfelelő információdarabokká vagy adatsorokká, ezeket az információkat vagy adatkészleteket Data Engineeringnek nevezik.
Az alábbiakban felsoroljuk a 2019 legfontosabb adatmérnök interjúkérdések és válaszok listáját:
Ha olyan állást keres, amely az Data Engineerrel kapcsolatos, akkor fel kell készülnie a 2019. évi Data Engineer interjúval kapcsolatos kérdésekre. Bár minden adatmérnök interjúval kapcsolatos kérdése különbözik, és a munka mértéke szintén eltér, segíthetünk Önnek a legjobb adatmérnök interjúkérdésekkel és válaszokkal, amelyek segítenek abban, hogy ugrást tegyenek és sikereket szerezzenek az adatmérnök interjújában.
1. Mi az adatgyűjtés?
Válasz:
Az adatgyűjtés olyan kifejezés, amely meglehetősen népszerű a Big Data területén, és elsősorban az Adat-infrastruktúrára vagy az Adat architektúrára utal.
Sok olyan forrásból származó adatok, mint például a közösségi média, a mobiltelefonok, a www (internet), nyers adatok. Átalakítani, megtisztítani, profilozni és összesíteni kell az üzleti igényekhez. Ezt a nyers adatot Sötét Adatnak nevezhetjük, amelyre rávilágítunk, hogy ezt a Sötét Adatot hasznossá tegyük. Az adatfeldolgozási rendszer tervezésének, megtervezésének és megvalósításának gyakorlata, amely elősegíti az adatok hasznos információkké történő átalakítását, Data Engineering.
2. Magyarázza el az adatmérnök napi munkáját?
Válasz:
Az adatmérnök napi munkája az alábbiakból áll:
a. az adatkezelés kezelése a szervezeten belül
b. adatforrás-rendszerek és átmeneti területek kezelése és karbantartása
c. ETL vagy ELT elvégzése és az adatok átalakítása
d. az adatok tisztításának egyszerűsítése, valamint az adatok másolatának és építésének javítása
e. ad-hoc adatkérdezés létrehozása és kibontása
Lásd alább a megjelenítést, amely tájékoztatja azokat a dolgokat, amelyeken az adatmérnök dolgozik: - 
3. Van tapasztalata az adatmodellezéssel kapcsolatban?
Válasz:
Elmondhatjuk, hogy egy pénzügyi / egészségbiztosítási ügyféllel kapcsolatos projekten dolgozott, ahol ETL eszközöket használtak, például Informatica / Talend / Pentaho stb. A MySQL / RDS / SQL adatbázisból beolvasott adatok átalakításához és feldolgozásához, és elküldik továbbadja ezeket az információkat a szállítóknak, amelyek hozzájárulhatnak bevételeik növeléséhez. Meg lehet mutatni az adatmodell magas szintű architektúráját. Ez egy elsődleges kulcsból, entitásból, attribútumokból, kapcsolatból, korlátozásokból stb. Áll.
4. Milyen típusú tervezési sémák vannak az adatmodellezésben? Magyarázza meg egy példával?
Válasz:
Kétféle séma létezik az adatmodellezésben:
a. Csillagjegy
Ez a séma két részre oszlik: egyik a ténytáblázat, a másik pedig a táblázatok, ahol az összes dimenziós táblázat kapcsolódik egy ténytáblához. Az idegen kulcs ténylegesen a dimenziós táblázatokban található elsődleges kulcsokra vonatkozik. Lásd az alábbiakat:
b. Hópehely séma
Ebben a sémában a normalizálás szintje megemelkedik, itt a ténytábla ugyanaz marad, mint a csillag séma, itt a dimenziós táblák normalizálva vannak. A dimenziós táblák sok rétege miatt hópehelynek tűnik, így a hópehely séma. Lásd az alábbiakat: -
5. Melyik ETL eszközt használ, és hogyan lehet ezt a legjobban összehasonlítani másokkal?
Válasz:
Elmondhatjuk, hogy sok pont miatt az Informatica-t használta ETL eszközként, mindenekelőtt az, hogy az adatintegrációs eszközök Gartner mágikus negyede szerint az Informatica a tizedik egymást követő évben vezető szerepet tölt be. Könnyen kezelhető és megtanulható, és olyan funkciókkal rendelkezik, amelyek a különféle forrásadatokhoz és adattípusokhoz kapcsolódhatnak, újrafelhasználható összetevőkhez és olyan szolgáltatásokhoz, amelyek miatt ez a legnépszerűbb az ETL fejlesztők számára. Megvan a saját ütemezője, amely egy másik előnye, ahol más ETL eszközöknek külső ütemezőt kell használniuk a munkák ütemezéséhez.
6. Melyik technológiának / programozási nyelvnek kell lennie / Tanuljon meg adatmérnökként?
Válasz:
Matematika (lineáris algebra és valószínűség)
Statisztika (összefoglaló statisztika)
Gépi tanulási technikák
R és SAS nyelvek
SQL adatbázisok, Hive QL
Python (leginkább használt)
Ezen felül problémamegoldó, elemző és építészeti ismeretekkel kell rendelkeznie az adatbázisban.
7. Mely problémákkal néznek szembe az adatmérnökök?
Válasz:
1. Valós idejű integráció / folyamatos integráció
2. A hatalmas mennyiségű adat tárolása egy kérdés, az ezekből az adatokból egy másik kérdés.
3. Mely eszközök használhatók, amelyek a legjobb teljesítményt, tárolást, hatékonyságot és eredményt nyújtják.
4. Van-e tárolási méret? Tegyük fel, hogyan lehet tudni, hogy mennyi ideig fog tartani a teljes adatkészlet feldolgozása?
5. Figyelembe véve a processzorokat és a RAM konfigurációját
6. Hogyan kell kezelni a hibákat, van-e hibatűrés vagy sem?
8. Miben különbözik az Data architect az Data Engineertől?
Válasz:
Az Data Architect az az adatkezelő személy, különösen akkor, ha különféle számú adatforrásról van szó. Mélyreható ismeretekkel kell rendelkezni arról, hogyan működik egy adatbázis, hogyan kapcsolódnak az adatok az üzleti problémákhoz, és hogyan változtatják meg a változások a szervezet adathasználatát, majd az adat-építész manipulálja / átalakítja az adatok architektúráját azok szerint.
Az Data architect fő felelőssége az adattárolás, az adatok architektúrájának vagy a vállalati adatközpont / raktár fejlesztése.
Míg az Adatmérnök segítséget nyújt az adattárház-megoldások telepítésében, az adatok modellezésében, az adatbázis-architektúra fejlesztésében és tesztelésében.
9. Mutassa be azt az időszakot, amikor egy új használati esetre talált egy meglévő adatbázist, amely pozitív hatással volt az üzletre?
Válasz:
Míg a Big Data korszakában az SQL-vel rendelkeznek az alábbi szolgáltatások hiánya:
a. Az RDBMS séma-orientált DB, tehát a strukturált adatok esetében jobb, mint a félig strukturált vagy nem strukturált adatok esetében.
b. Nem tudja feldolgozni a kiszámíthatatlan és nem strukturált adatokat.
c. Nem vízszintesen méretezhető, azaz a párhuzamos végrehajtás és tárolás az SQL-ben nem lehetséges.
d. Attól szenved a teljesítményprobléma, ha a felhasználók száma növekszik.
e. Főleg online tranzakciós feldolgozásra használják.
E hátrányok kiküszöbölésére NoSQL DB-t használunk, azaz nem csak az SQL-t.
Tehát a projektben különféle típusú NoSQL DB használható, például Cassandra, Mongo DB, Graph DB, HBase stb.
10. Van-e tapasztalata felhőalapú számítógépes környezetben történő munkavégzés során? Milyen előnyeit látja egyben dolgozni?
Válasz:
Elmondhatjuk, hogy igen. A Cloud Computing Environment készen áll a környezetre a termelés, fejlesztés és tesztelés szempontjából, anélkül hogy gondolkodna a sok példány / Linux / ablakszerver integrálásáról. Különböző felhőalapú számítástechnikai szolgáltatások léteznek olyan piacon, mint az AWS (Amazon webszolgáltatások), Azure (Microsoft), GCP (Google Cloud Platform). A felhőalapú számítástechnika az alábbi funkciókat kínálja, mint például a rugalmasság, azaz a környezet a követelményeknek megfelelően növekszik, katasztrófa utáni helyreállítás biztonsági másolatok és pillanatfelvételek készítésével, a VPN-ekkel bárhonnan dolgozik, biztonságos környezet és környezetbarát, mivel árucikkek hardverén, azaz általános célú számítógépeken működik, amelyek alacsony költségű.
Következtetés
A fenti blogban az adatmérnökkel kapcsolatban tartottuk a leggyakrabban feltett interjúkérdéseket, és hogy hogyan lehet erre válaszolni jellemző pontok megadásával.
Ajánlott cikk:
Ez az adatmérnök interjúval kapcsolatos kérdések és válaszok átfogó útmutatója, így a jelölt könnyen meg tudja oldani ezeket az adatmérnök interjú kérdéseit. ez a cikk az összes adatmérnök interjú kérdésével és válaszával foglalkozik. A következő cikkeket is megnézheti további információkért -
- A legfontosabb Azure Paas vs Iaas
- Big Data interjú kérdései
- 5 A legfontosabb elasztikus keresés interjúkérdése
- PIG interjúkérdések és válaszok
- Az öt legértékesebb adattudományi interjú kérdése