Bevezetés az adattudomány életciklusához
Az adattudomány életciklusa a gépi tanulás és más analitikai módszerek felhasználásával fordul körül, hogy betekintést és előrejelzéseket készítsen az adatokból egy üzleti cél elérése érdekében. A teljes folyamat több lépést foglal magában, mint például az adatok tisztítása, előkészítése, modellezése, modell kiértékelése stb. Ez egy hosszú folyamat, és a teljesítés több hónapot is igénybe vehet. Tehát nagyon fontos, hogy legyen egy általános struktúra, amelyet minden jelenlegi probléma esetén be kell tartani. Az analitikai problémák megoldásában általánosan elismert struktúrát az iparágak közötti ágazati szabványos eljárásnak nevezik vagy CRISP-DM keretrendszernek.
Az adattudomány életciklusa
Az alábbiakban az adattudomány életciklusa látható.
1. Üzleti megértés
Az egész ciklus az üzleti cél körül forog. Mit fog megoldani, ha nincs pontos problémája? Rendkívül fontos, hogy világosan megértsük az üzleti célt, mivel ez lesz az elemzés végső célja. Csak a megfelelő megértés után beállíthatjuk az elemzés konkrét célját, amely összhangban van az üzleti céllal. Tudnia kell, hogy az ügyfél csökkenteni kívánja-e a hitelveszteséget, vagy meg akarja-e becsülni egy áru árát, stb.
2. Az adatok megértése
Az üzleti megértés után a következő lépés az adatok megértése. Ez magában foglalja az összes rendelkezésre álló adat gyűjtését. Itt szorosan együtt kell működnie az üzleti csapattal, mivel valójában tisztában vannak azzal, hogy milyen adatok vannak jelen, milyen adatokat lehet felhasználni ehhez az üzleti problémához, és egyéb információkat. Ez a lépés magában foglalja az adatok, szerkezetük, relevanciájuk, adattípusának leírását. Fedezze fel az adatokat grafikus ábrák segítségével. Alapvetően minden olyan információ kinyerése, amelyet az adatokról megszerezhet, az adatok feltárásával.
3. Adat előkészítése
Ezután következik az adat-előkészítési szakasz. Ez magában foglalja a releváns adatok kiválasztását, az adatok integrálását az adatkészletek összevonásával, megtisztításával, a hiányzó értékek kezelésével akár eltávolításukkal, akár beiktatásukkal, a hibás adatok kezelését eltávolításukkal, valamint a dobozok felhasználásával ellenőrizze, hogy vannak-e túlmutatók. . Új adatok összeállításakor vegyen új funkciókat a meglévőkből. Formázza az adatokat a kívánt struktúrába, távolítsa el a nem kívánt oszlopokat és szolgáltatásokat. Az adatok előkészítése a leginkább időigényes, ám vitathatatlanul a legfontosabb lépés az egész életciklusban. A modell olyan jó lesz, mint az adatai.
4. Felderítő adatok elemzése
Ez a lépés magában foglalja egy ötlet megismerését a megoldásról és az azt befolyásoló tényezőkről, mielőtt az aktuális modell felépülne. Az adatok megoszlását egy jellemző különféle változóin belül grafikusan oszlopdiagramon keresztül vizsgálják. A különféle jellemzők közötti kapcsolatokat grafikus ábrázolásokkal, például szórt grafikonokkal és hőtérképekkel rögzítik. Számos más adatmegjelenítési technikát széles körben használnak minden szolgáltatás külön-külön történő felfedezésére, és más funkciókkal való kombinálásával.
5. Adatmodellezés
Az adatok modellezése az adatelemzés központja. A modell az előkészített adatokat bemenetként veszi át, és biztosítja a kívánt outputot. Ez a lépés magában foglalja a megfelelő típusú modell kiválasztását, függetlenül attól, hogy a probléma osztályozási probléma, regressziós probléma vagy csoportosítási probléma. Miután kiválasztottuk a modellcsaládot, a családba tartozó különféle algoritmusok között, gondosan meg kell választanunk az algoritmusokat azok megvalósításához és megvalósításához. Az egyes modellek hiperparamétereit be kell hangolni a kívánt teljesítmény elérése érdekében. Gondoskodnunk kell arról is, hogy a teljesítmény és az általánosíthatóság között megfelelő egyensúly álljon fenn. Nem szeretnénk, ha a modell megtanulná az adatokat, és rosszul teljesítne az új adatokat.
6. A modell kiértékelése
Ebben a modellben kiértékeljük annak ellenőrzését, hogy készen áll-e a telepítésre. A modellt láthatatlan adatokkal tesztelik, és egy alaposan átgondolt értékelési mutatókészlettel értékelik. Gondoskodnunk kell arról is, hogy a modell megfeleljen a valóságnak. Ha nem érünk el kielégítő eredményt az értékelés során, akkor a teljes modellezési folyamatot meg kell ismételnünk, amíg el nem éri a kívánt mutatószintet. Minden adattudományi megoldásnak, a gépi tanulási modellnek, akárcsak az embernek, fejlődnie kell, képesnek kell lennie arra, hogy új adatokkal javuljon, alkalmazkodjon egy új értékelési mutatóhoz. Egy bizonyos jelenséghez több modellt is felépíthetünk, de sokuk lehet hiányos. A modellértékelés segít kiválasztani és felépíteni a tökéletes modellt.
7. Modell telepítése
A szigorú értékelés utáni modellt végül a kívánt formátumban és csatornán telepítik. Ez az adattudomány életciklusának utolsó lépése. Az adattudományi életciklus fentiekben ismertetett minden lépését gondosan meg kell dolgozni. Ha valamelyik lépést nem megfelelő módon hajtják végre, következésképpen befolyásolja a következő lépést, és az összes erőfeszítés pazarlásba kerül. Például, ha az adatokat nem megfelelően gyűjtik, elveszíti az információkat, és nem fog tökéletes modellt felépíteni. Ha az adatokat nem tisztítja meg megfelelően, a modell nem fog működni. Ha a modell nem kerül megfelelő értékelésre, akkor a való világban kudarcot vall. Az üzleti megértéstől a modell bevezetéséig minden lépéshez megfelelő figyelmet, időt és erőfeszítést kell fordítani.
Ajánlott cikkek
Ez egy útmutató az adattudomány életciklusához. Itt tárgyaljuk az adattudomány életciklusának áttekintését és az adattudomány életciklusát alkotó lépéseket. Megnézheti a kapcsolódó cikkeket is, ha többet szeretne megtudni -
- Bevezetés az adattudomány algoritmusaiba
- Adattudomány vs. szoftverfejlesztés | A 8 legfontosabb hasznos összehasonlítás
- Adattudományi technikák különféle típusai
- Adattudományi készségek típusokkal