A Data Lake áttekintése
Az adattó egy adattár, amelyben nagy mennyiségű félig strukturált, strukturált és nem strukturált adat tárolható. Egy egyedi azonosítót kibővített metaadat-címkék halmazával rendelnek hozzá egy adattó minden adat eleméhez. Ha üzleti kérdés merül fel, akkor kérheti a releváns adatokat, majd elemezze a kisebb adatokat a kérdés megválaszolásához. A tó lapos architektúrával rendelkezik, szemben a hierarchikus adattárházakkal, ahol az adatokat fájlokban és mappákban tárolják. Az adatok első strukturálása nélkül adatait tárolhatja, ahogy van, és különféle elemzéseket végezhetünk, például műszerfalakat és vizualizációkat egy nagy adatfeldolgozásra, valós idejű elemzésre és gépi tanulásra a jobb döntések megismerése érdekében.
A tót olyan szakemberek használják, mint adattudósok, adatfejlesztők és üzleti elemzők nagy mennyiségű adat tárolására.
A tóban nem-relációs és relációs az IoT eszközök, webhelyek, mobil alkalmazások stb. Esetén. A séma az elemzés idején, azaz az olvasási sémán íródik. Az eredmény a lekérdezés végrehajtása után gyorsabb.
Miért van szükségünk egy adat-tóra?
Egy tó felépítésével az adattudósok láthatják az adatok finomítását.
Használatának okai a következők:
Az a vállalkozás, amely üzleti adatokból profitál az adatokból, sikeresen meghaladja társait. Az Aberdeen felmérésében a Data Lake-t létrehozó társaság 9% -kal haladta meg a hasonló társaságok organikus bevételeinek növekedési teljesítményét. Ezek a vezetők képesek voltak új típusú elemzéseket végezni, például gépi tanulást olyan új forrásokon keresztül, mint például a naplófájlok, a kattintásos adat, a közösségi média és az internetkapcsolat a tóban.
Támogatja az adatok valós időben történő importálását. Az adatokat több forrásból gyűjtik, majd az eredeti formátumban átviszik a tóba. A tó nagyobb az adatok skálázhatóságának köszönhetően. Az adatok indexelésével, feltérképezésével és katalogizálásával megtudhatja, hogy milyen típusú adatok vannak a tóban.
Támogatja az adatkezelést, amely kezeli az adatok elérhetőségét, használhatóságát, biztonságát és integritását.
Segíthet a kutatási és fejlesztési csapatoknak hipotéziseik tesztelésében, a feltételezések finomításában és az eredmények értékelésében.
Silószerkezet nem áll rendelkezésre.
360 fokos nézetet és robusztus elemzést kínál ügyfeleinek.
Az elemzés minősége az adatmennyiség, az adatminőség és a metaadatok növekedésével is növekszik.
- Az olyan tárolómotorok, mint a Hadoop, megkönnyítették az eltérő információk tárolását. Nem szükséges modellezni az adatokat egy tóval egy vállalati szintű rendszerbe.
- Az elemzések minősége az adatmennyiség, az adatminőség és a metaadatok növekedésével is növekszik.
- Üzleti agilitást kínál
- A gépi tanulás és a mesterséges intelligencia felhasználható jövedelmező előrejelzések készítésére.
Adat-tó architektúrája a Hadoop, AWS és Azure rendszeren
Az adattó két összetevőből áll: tárolás és számítás. A tárolás és a számítástechnika a helyszínen vagy a felhőben is elhelyezhető. Ennek eredményeként az adattó-architektúra több lehetséges kombinációban kerül kialakításra.
1. Hadoop
Az elosztott szerver Hadoop-fürt megoldja a nagy adattárolási problémákat. A MapReduce a Hadoop programozási modell, amelyet az információk a kiszolgálófürt kisebb részhalmazaira történő felosztásához és feldolgozásához használnak.
2. AWS
Az AWS termékcsalád adattó-megoldására átfogó. Az Amazon S3 a tárolási funkció megoldásának középpontjában áll. Ezek az adatgyűjtő eszközök, amelyek lehetővé teszik számunkra, hogy hatalmas mennyiségű adatot továbbítsunk az S3-ba, a Kinesis Stream, a Kinesis Firehose, a Snowball és a Direct Connect.
Az Amazon S3 mellett a NoSQL adatbázis, a Dynamo DB és az Elastic Search egyszerűsített lekérdezési eljárást kínál. Az AWS széles választékot kínál meredek kezdeti tanulási görbével. A megoldás átfogó tulajdonságait azonban széles körben használják a kereskedelmi intelligencia alkalmazásokban.
3. Azure
A Micro-soft felajánlotta az adat-tót. Az Azure data lake rendelkezik elemzési és tárolási réteggel Azure Store (ADLS), és az a két összetevő, amely az analitikai réteg rendelkezik Azure Analytics és HDInsight. Az ADLS szabvány beépült a HDFS-be, és korlátlan tárolási képességgel rendelkezik. Ez egy fájlban billiókat képes megmenteni, ha a petabájt nagyobb. Az Azure Store lehetővé teszi az adatok tárolását, védelmét és méretezését bármilyen formátumban.
Előnyök
Néhány fontos pontot alább mutatunk be
- Korlátlan adattípust biztosít
- Gyorsan alkalmazkodik a változásokhoz
- A hosszú távú tulajdonosi költségek csökkennek
- Fő előnye a különféle tartalomforrások központosítása
- A világ különböző részlegeinek felhasználói rugalmas adathozzáféréssel rendelkeznek
- Gazdaságos méretezhetőséget és rugalmasságot biztosít
Kockázat
- Egy idő után elveszítheti a relevanciáját és lendületét.
- A tervezésnél nagyobb a kockázat
- Emellett növeli a tárolás és a termékek költségeit
- A biztonság és a belépés ellenőrzése jelenti a legnagyobb kockázatot. Az adatokat esetenként felügyelet nélkül el lehet helyezni egy tóba, mivel az adatok egy részét védeni és szabályozni kell.
Ajánlott cikkek
Ez egy útmutató a Mi az a Data Lake ?. Itt megvitattuk a koncepciót, miért van szükségünk az adat-tóra azok előnyeivel és kockázataival együtt. Megnézheti a többi Javasolt cikkünket is, ahol további információt szerezhet-
- Modern adatintegráció
- Mi az az adatelemzés?
- Mi az adatsértés?
- Data Scientist vs Big Data
- Data Lake vs Data Warehouse | Különbségek