Mi az a sertés?
A Pig egy nyílt forrású motor, amely a Hadoop ökoszisztéma-technológiájának része. A Pig nagyszerű olyan adatokkal dolgozni, amelyek túlmutatnak a hagyományos adatbázisokon vagy adattárházakon. Ez jól kezelhető a hiányzó, hiányos vagy következetlen adatokkal, amelyeknek nincs sémája. A disznónak saját nyelve van az adatkezelések kifejezésére, azaz a latin.
Megértése Pig
A Pig egy olyan technológia, amely lehetővé teszi magas szintű, de rendkívül szemcsés szkriptek írását, amely lehetővé teszi az adatokkal való munkavégzést, ahol a séma ismeretlen vagy következetlen. A Pig egy nyílt forrású technológia, amely a Hadoop tetején működik, és része a rendkívül élénk és népszerű Hadoop ökoszisztémának.
A sertés jól működik a strukturálatlan és hiányos adatokkal, tehát mindennek nem kell a szabályok és oszlopok hagyományos elrendezésének lennie.
Megfelelően definiált, és közvetlenül képes dolgozni a HDFS (Hadoop Distributed File System) fájlokon.
A disznó lesz az Ön által választott technológia, ha adatokat akar a forrásból adattárházba gyűjteni.
Például egy vizuális folyamat, amely szerint az adatok általában áramlanak, mielőtt felhasználhatná azokat a szép táblázatokat, amelyekkel üzleti döntéseket hoz.
A nyers adatok különféle forrásokból származnak, mint például érzékelők, mobiltelefonok, stb. Ezt követően a Pig segítségével végezzük el az ETL műveletet. Az ETL a kivonást, átalakítást és betöltést jelenti, miután ezeket a műveleteket elvégezték, a kitisztított adatokat egy másik adatbázisban tárolják. Ilyen adatbázis például a HDFS, amely a Hadoop része. A Hive egy olyan adattárház, amely egy ilyen fájlrendszer tetején fut. A kaptár az, amelyet elemzéshez, a jelentések elkészítéséhez és a betekintés kivételéhez használna.
Az ETL nagyon fontos lépés az adatfeldolgozásban annak érdekében, hogy a nyers adatokat megtisztítsák és megfelelő formában tárolják az adatbázisban. A kivonat a strukturálatlan, következetlen adatok hiányzó mezővel és értékekkel való húzására vonatkozik az eredeti forrásból. Az átalakítás az operációs sorozatot jelenti, amelyet az adatokra alkalmazna annak tisztítása vagy megszerzése céljából.
A hasznos összesített információk előzetes kiszámítása, a mezők feldolgozása egy adott formátumnak megfelelően, mindez a transzformációs mezők adattisztításának része.
Végül a Pig végrehajtja a betöltési műveletet, amikor ezeket a tiszta adatokat egy adatbázisban tárolja, ahol tovább lehet elemezni. A Pig által végrehajtott szokásos műveletekre példa a naplófájlok tisztítása.
Magyarázza meg a sertés építészetét
Számos sertés alkatrész található az építészetben, inkább:
- Parser : A Parser foglalkozik a Pig Scriptekkel, valamint ellenőrzi a szkript szintaxisát, a típusvizsgálatot és a különféle válogatott ellenőrzéseket. Ezenkívül eredményük lehet egy DAG (Directed Acyclic Graph), amely általában a Pig Latin állításokat jelzi logikai operátorokkal együtt.
Ezenkívül a szkripttel ellátott logikai operátorok is megjelennek, mint a csomópontok, valamint az adatfolyamok is, mivel a szegélyek a DAG-n keresztül vannak.
- Optimalizáló: Később a logikai tervet (DAG) általában meghaladják a logikai optimalizáló felé. Végrehajtja a logikai optimalizálást, beleértve a vetítést, és elősegíti az alacsony értéket
- Fordító: A fordító szintén összeállítja ezt a továbbfejlesztett logikai tervet a MapReduce művek csoportjában.
- Végrehajtó motor: Végső soron az összes MapReduce munkát rendezett sorrendben elküldik a Hadoop-nak. Végül ez megteremti a szükséges eredményeket, bár ezeket a MapReduce munkákat a Hadoopmal fogják elvégezni.
- MapReduce: A MapReduce-t eredetileg a Google-ban fejlesztették ki annak érdekében, hogy weboldalakat dolgozzanak fel a Google keresés fokozása érdekében. A MapReduce a számítástechnikát a fürt több számítógépére osztja. A MapReduce kihasználja az adatfeldolgozásban rejlő párhuzamosság előnyeit. A modern rendszerek, például érzékelők, vagy akár a Facebook állapotfrissítései milliónyi nyers adatot generálnak.
Az ilyen szintű tevékenységet két szakaszban lehet elkészíteni:
- Térkép
- csökkentse
Ön dönti el, hogy milyen logikát kíván végrehajtani ezekben a szakaszokban az adatok feldolgozása érdekében.
- HDFS (Hadoop elosztott fájlrendszer): A Hadoop korlátlan kapacitással lehetővé teszi az adatok tárolását és elemzését egy méretarányban. A fejlesztők olyan alkalmazásokat használnak, mint a Pig, Hive, HBase és Spark, hogy adatokat gyűjtsenek a HDFS-ből.
Jellemzők
Az Apache Pig a következő tulajdonságokkal rendelkezik:
- A programozás egyszerűsége: A Pig Latin összehasonlítható az SQL-lel, ezért a fejlesztők számára nagyon egyszerű a Pig szkript létrehozása. Ha megérti az SQL nyelvet, hihetetlenül egyszerű megtanulni a latin nyelvet, mivel éppen olyan, mint az SQL nyelv.
- Gazdag operátorkészlet: A Pig különféle gazdag operátorkészletből áll, amelyek képesek olyan eljárások végrehajtására, mint a csatlakozás, a fájlkezelés, a rendezés és még sok más.
- Optimalizálási lehetőségek: Az Apache Pig feladattel történő teljesítménye maga a feladat azonnal javítható; ezért a fejlesztőknek csak ezen nyelv szemantikájára kell koncentrálniuk.
- Bővíthetőség: A hozzáférhető operátorokat használva a felhasználók egyszerűen kifejleszthetik funkcióikat az adatok olvasására, feldolgozására és írására.
- Felhasználói definiált funkciók (UDF-k): A Pig által az UDF készítéséhez nyújtott szolgáltatás felhasználásával felhasználói definiált függvényeket állíthatunk elő a fejlesztési nyelvek számán, beleértve a Java-t, valamint mindegyiket meghívhatjuk vagy beágyazhatjuk a Pig Scriptekbe.
Mire hasznos a sertés?
A feladatok kivizsgálására és végrehajtására használják, beleértve az ad-hoc kezelést is. Az Apache Pig felhasználható:
A hatalmas nyers adatgyűjtéssel végzett elemzés inkább az adatfeldolgozást részesíti előnyben a kereső webhelyek elérése érdekében. Mint például a Yahoo, a Google az Apache Pig előnyeinek számít a Google, valamint a Yahoo keresőmotorok révén gyűjtött adatok értékelésében. A nagy adatgyűjtések kezelése, akárcsak a webes rekordok, az online információk streamingje és így tovább. Még a Facebook állapotfrissítései is több millió nyers adatrekordot generálnak.
Hogyan segíti ez a technológia a karrierjének növekedését?
Sok szervezet hihetetlenül gyorsan telepíti az Apache Pig alkalmazást. Ez azt jelenti, hogy a sertés- és sertéskarrier szakmák naponta növekednek. Az elmúlt néhány évben óriási előrelépés történt az Apache Hadoop fejlesztésében. A Hadoop elemek, mint a Hive, Pig, HDFS, HBase, MapReduce és így tovább.
Noha a Hadoop ajánlatok ebben az időben a második évtizedbe léptek, mégis felrobbant az előző három-négy év során. Számos szoftvercég hihetetlenül gyakran alkalmazza a Hadoop klasztereket. Ez határozottan a nagy adatok legjobb része. A célzó szakemberek tapasztalattá válhatnak ebben a kiváló technológiában.
Következtetés
Az Apache Pig szakértelemre nagy szükség van a piacon, és tovább bővíthető. A fogalmak egyszerű megértésével, valamint a legjobb Apache Pig Hadoop készségekkel való tapasztalatának megszerzésével a szakértők tökéletesen részt vehetnek az Apache Pig szakmában.
Ajánlott cikk
Ez egy útmutató a Mi a sertés számára? Itt a Fogalmakat, a Meghatározást és az építészetet tárgyaltuk a Pig tulajdonságaival. A további javasolt cikkeken keresztül további információkat is megtudhat -
- Az Apache telepítése
- Apache PIG interjúkérdések
- Mi az ASP.Net webszolgáltatások?
- Mi a Blockchain technológia?