Karrier a Hadoopban - Bevezetés
A Hadoop nem csupán a Big Data világ kerete. Széles ökoszisztémájú, és összekapcsolja a kapcsolódó technológiákat. Ugyanezen okból ígéretes a karrier a Hadoopban. Ha jól ismeri a Hadoop alapjait, ez a Hadoop nagy karrierjének alapja lesz.
Karrierképzés Hadoopban
Mint sok újonnan megjelenő adattechnológia, a Hadoop mint ilyen nem igényel speciális oktatási hátteret. A Hadoop fejlesztőinek körülbelül fele olyan számítógépes háttérrel rendelkező, mint a statisztika vagy a fizika. Tehát egyértelmű, hogy a háttér nem akadályozza a Hadoop világába való belépést, ha készen állsz az alapok megtanulására. Vannak jó online tanfolyamok a Hadoop-ról - a eduCBA tanfolyam a legjobb példa - master-apache-Hadoop
Ezenkívül, ha mélyebbre szeretne lépni a Hadoop klasztermenedzsment vagy adatmodellezés egy meghatározott területére a Hive anyagokban, minden egyes témában, online tanfolyamok és tankönyvek formájában. A Hadoop-fürtök legtöbbször felhőszolgáltatóban, például AWS vagy Azure-ban kerülnek beállításra. Tehát ismerkedjen meg bármely választott felhő-szolgáltatóval, amely sokat segít. Az AWS Hadoop szolgáltatása EMR.
A népszerű specializáció magában foglalja:
- Spark - méretezhető memória-adatfeldolgozó motor
- HBase - Nincs SQL adatbázis a HDFS tetején
- Sugárzás - Az első megközelítésű adatfeldolgozás streamingje
- Pig - Adat-transzformációs (ETL) szkriptek
- Kaptár - Adattárolás
- Mahout, Spark MLlib - Méretezhető gépi tanulás a Hadoop-on
- Apache Drill - SQL motor a Hadoop-on
- Flume, Sqoop - Adatgyűjtési szolgáltatások
- Solr & Lucene - Keresés és indexelés
Karrier út a Hadoop-ban
A Stack Overflow Survey 2017 eredményei szerint a Hadoop a Big Data tér legnépszerűbb és legkedveltebb keretrendszerében (Survey Link) vezet. Ez csak azért lehetséges, mert a különböző informatikai szempontokból álló emberek potenciális karrierutat találtak a Hadoop számára, és váltani akarnak.
Bármi is legyen a jelenlegi informatikai szerepe, a Hadoop világában könnyen alkalmazkodó karrier válhat át. Néhány népszerű példa -
- Szoftverfejlesztő (programozó) -> Hadoop Data Developer, aki különféle Hadoop absztrakciós SDK-kkal foglalkozik, és az adatokból származtatja az értéket.
- Adatanalitikus -> Tehát jól ismeri az SQL-t. Hatalmas lehetőség a Hadoopban az SQL motorokon, mint például a Hive vagy az Impala, való működésre
- Üzleti elemző -> Azok a szervezetek, amelyek tömegesen gyűjtött adatok felhasználásával próbálnak jövedelmezőbbé válni, és ebben kulcsfontosságú az üzleti elemző szerepe.
- ETL fejlesztő -> Ha hagyományos ETL fejlesztőként dolgozik, akkor könnyedén válthat a Hadoop ETL-re olyan eszközök segítségével, mint a Spark.
- Tesztelők -> A Hadoop világában óriási igény mutatkozik a tesztelőkre. A Hadoop alapjainak és az adatok profiljának megértésével bármely tesztelő válthat erre a szerepre.
- BI / DW szakmák -> Könnyen átválthat a Hadoop Data építészetre az Data modellezésre.
- Senior IT szakemberek -> A terület és az adatvilágban meglévő kihívások mély megértésével az idősebb szakemberek tanácsadókvá válhatnak, ha megismerik a Hadoop tudását, hogyan oldja meg ezeket a kihívásokat.
- Vannak olyan általános szerepek, mint például az Data Engineers vagy a Big Data Engineering, akik a megoldás megvalósításáért felelnek, főleg a Cloud szolgáltatók mellett. A felhő adatkomponenseinek ismeretének megszerzésével ez ígéretes szerepet játszik.
Állások
A Hadoop ökoszisztéma sokféle pályafutást kínál
- MapReduce Developer - alapvetően egy Java fejlesztői szerep, aki megérti a Hadoop rendszerek belső működését is. Van olyan absztrakció, mint a Hive vagy a Pig, és továbbra is rendelkezésre állnak a MapReduce feladatok a nagy teljesítményű rendszerekhez. A MapReduce fejlesztői értik a rendszer be- és kikapcsolódását, és nagyon magas fizetést fizetnek.
- Hadoop rendszergazdák - Ezek az emberek felelősek a Hadoop-fürt egészségi állapotának és teljesítményének fenntartásáért. Ez magában foglalhatja a tipikus rendszergazdai feladatokat, például a rendszeres rendszer-ellenőrzéseket, de a Hadoop rendszer architektúrájának megértéséhez szükséges feladatok nagy részét.
- Fejlesztések - Új rendszerösszetevők és más fejlesztéssel kapcsolatos változtatások telepítése a Hadoop-fürtben. Ennek a szerepnek a felelőssége nagyon eltérő, és a szervezet kultúrájától függ.
- Data Developer - Adatfeldolgozás a Hadoop tetején. Ez a Hadoop ökoszisztéma egyik legnépszerűbb szerepe. Az SQL vagy elemzési háttérrel rendelkező emberek ezeknek a szerepeknek a legmegfelelőbbek. Leginkább a Hadoop, például a Hive vagy a Pig magas szintű absztrakcióján dolgoznak.
- Adatbiztonsági admin - Az adatok a legértékesebb eszközök, és a biztonságuk a legfontosabb. A biztonsági adminisztrátorok az iparági szabványok és az adatvédelem bevált gyakorlatainak biztosításával, a rendszer megértésével korlátozva
- Adatmegjelenítő - Kezelje a következő generációs megjelenítő eszközöket, amelyek lehetővé teszik a dinamikus adatok szeletelését és összesítését a memóriában lévő adatok gyorsítótárazásával
- ETL fejlesztő - Adatok átalakítása adatminőség javítása céljából vagy üzleti logika szerint a Hadoop ökoszisztéma eszközeivel. Lehet, hogy az ETL folyamat streaming vagy kötegelt.
- Rendszer-építész - Nagyteljesítményű rendszerek tervezése, figyelembe véve az adatok elérhetőségét és tartósságát, költséghatékony módon. Nagyon függ a hardver szolgáltatótól.
- Adatépítész - Az adatok hagyományos logikai / fizikai tervezésén kívül sok olyan dolog, mint az oszlopkódolás, a denormalizálás, a particionálás tervezése stb., Az adatépítész feladata.
Ajánlott tanfolyamok
- Online XML és Java képzés
- Node.JS tanfolyamok
- Silverlight tanfolyam
- Ember.JS Program
Fizetés
Egy szoftverfejlesztő átlagos fizetése az USA-ban évente 90 956 dollár, míg a Hadoop fejlesztő átlagbére jóval magasabb - évente 118 234 dollár (mint a .hu.com - a.hu oldalon).
A Hadoop fejlesztőjének fizetése az Egyesült Államok legnépszerűbb vállalatainál (Ref: really.com)
| alma | Évente 147 573 USD |
| Wipro | Évente 110 553 USD |
| HERO.jobs | 158 715 USD évente |
| MBCAA | Évente 133 422 USD |
| Ventures Unlimited Inc | Évente 130 000 dollár |
| Nityo Infotech Services Pvt. kft | Évente 128 633 USD |
| ÉSZAKI CSILLAG | Évente 126 370 USD |
| PRI Technology | Évente 121 396 USD |
| NITYO INFOTECH | Évente 116 909 USD |
| HortonWorks, Inc. | 110 710 USD évente |
Karrier Outlook
A Hadoop ökoszisztémája nagyon eltérő az üzleti igények változásának kielégítése érdekében. Mivel a generált adatok exponenciálisan növekednek, és egyre több szervezet válik adatközpontúvá, a Hadoop rendszer relevanciája csak növekedni fog.
Néhány figyelemre méltó tendencia:
- Váltás a kötegelt feldolgozástól az első adatfeldolgozási megközelítés folytatásához a Spark és a Beam segítségével
- Több valósidejű Machine Learning modell alkalmazható a valósidejű adatokra a Spark ML használatával
- Az SQL motorok leválasztása az adattárolástól, mint például az Presto az S3 tetején, az ad-hoc elemzéshez az adattó felett.
- Oszlopos MPP-adatbázisok, például az AWS Redshift a gyors adathozzáférés érdekében
Mivel a nagy adatfeldolgozás alapvető szempontja a hibatűrő elosztott és vízszintesen skálázható rendszerek, amelyeket a Hadoop jól végrehajtott, a Hadoop továbbra is vezető adatfeldolgozási ökoszisztéma lesz.
Ajánlott cikk
Ez egy útmutató a Hadoop karrierjéhez. Itt megvitattuk a Bevezetést, az oktatást, a karrier utat a Hadoopban, a fizetést és a karrier kilátásokat a Hadoopban. a következő cikkben további információkat is megnézhet -
- Azure Paas vs Iaas és azok hasznos előnyei
- Tudja meg a különbségeket a Java és a Node JS között
- A legjobb szakértői tanácsadás a mainframe karrierjéről
- Karrier az SQL-ben
- Hasznos karrier szoftvermérnökként
- Hadoop rendszergazda | Készségek és karrier út