Bevezetés az adatelemzésbe
Ebben a cikkben felvázoljuk az adatelemzés típusait. A 21. század korszakában talán a legfigyelemreméltóbb változás az, hogy az adatok életünk minden területén bekerültek a döntéshozatali rendszerünkbe. Nem kétséges, hogy minden ágazat „adatok az új olaj”. A szinte végtelen sávszélesség növekedésével új kihívások jelentkeznek azzal kapcsolatban, hogyan használjuk hatékonyan ezt a hatalmas méretű adatmennyiséget, és milyen fontos betekintést nyerhetünk az adatokból. A nagy mennyiségű adat mellett a zaj fokozatosan növekszik, az adatelemzés különféle módszertanok és gondolkodásmód összegyűjtése a rendelkezésre álló adatok minél jobb kihasználása és a nyers adatok üzleti vagy társadalmi értékké alakítása érdekében.
Az adatelemzés típusai
Az alkalmazott módszertan alapján az adatelemzés a következő négy részre osztható:
- Leíró elemzés
- Feltáró adatok elemzése
- Prediktív elemzés
- Inferenciális elemzés
1. Leíró elemzés
A leíró elemzés az adatokkal kapcsolatos betekintés numerikus módja. A leíró elemzés során a numerikus változók összegzett értékét kapjuk. Tegyük fel, hogy egy autógyártó értékesítési adatait elemzi. A leíró elemzés irodalmában olyan kérdéseket kell feltenni, mint például az autó típusának átlagos ára, eladási árának módja, milyen bevételeket okozott egy adott típusú autó eladása stb. Megkaphatjuk a központi tendenciát és a az adatok numerikus változóinak szórása az ilyen típusú elemzés alkalmazásával. A legtöbb tudományos adathasználati esetben a leíró elemzés segít az adatok magas szintű információjának megszerzésében és az adathalmazhoz való hozzászokásban. A leíró elemzés fontos terminológiái a következők:
- Átlag (a számjegyzékben szereplő összes szám átlaga)
- Üzemmód (leggyakoribb szám a számok listájában)
- Medián (a számlista közepes értéke)
- Szabványbeli eltérés (az értékek halmazának variációja az átlagértéktől)
- Variancia (a szórás négyzete)
- Interkvartilis tartomány (a számlista 25 és 75 százaléka közötti értékek)
A pythonban a pandák könyvtára „leírása” nevû módszert biztosít, amely leíró információkat szolgáltat az adatkeretrõl. Más könyvtárakat is használunk, például statisztikai modellt, vagy fejleszthetjük a kódot használati eset szerint.
2. Felfedező adatok elemzése
A leíró adatelemzéssel ellentétben, ahol az adatokat numerikusan elemezzük, a feltáró adatok elemzése az adatok elemzésének vizuális módja. Amint a leíró elemzésen keresztül megismerjük a rendelkezésre álló adatokat, továbbmegyünk a feltáró adatok elemzésére. A felderítő adatok elemzését két részre oszthatjuk:
- Uni változó elemzés (egyetlen változó jellemzőinek feltárása)
- Többváltozós elemzés (több változó összehasonlító elemzése, ha két változó korrelációját hasonlítjuk össze, kétváltozós elemzésnek hívjuk)
Az adatelemzés vizuális szempontjából különféle grafikonokat és grafikonokat használunk az adatok elemzésére. Egy változó elemzéséhez (egyváltozós elemzés) felhasználhatunk oszlopdiagramot, hisztogramokat, dobozábrát whiskel, hegedűs diagrammal stb.
De miért van szükség feltáró adatok elemzésére?
- A feltáró adatok elemzése vizuális módszert ad az adatok leírására, amely segíti az adatok jellemzőinek pontosabb azonosítását.
- Ez segít beazonosítani, mely szolgáltatások fontosabbak. Ez különösen akkor hasznos, ha nagy dimenziós adatokkal foglalkozunk. (azaz olyan módszerek, mint a PCA és a t-SNE segítenek a dimenzió csökkentésében).
- Ez egy hatékony módja annak, hogy elmagyarázza a felmerült eredményt a vezetőknek és a nem műszaki veremtulajdonosoknak.
A pythonban sok könyvtár létezik felderítő adatok elemzésére. Ezek közül a Matplotlib, a Seaborn, a Plotly, a Bokeh stb.
3. Prediktív elemzés
Mi történik, ha előre tudjuk a hibákat, amelyeket a jövőben elkövetünk? Megpróbáljuk elkerülni ezeket? A prediktív elemzés nem más, mint a jövőbeli eredmények előrejelzésének leg tudományosbb módja a történelmi események elemzésével. Az adattudomány szíve prediktív elemzésen alapul. A prediktív elemzés segít a következő kérdések megválaszolásában: „Megjósolhatjuk-e, ha egy vevő vásárol egy adott terméket, vagy sem?” Vagy 'Megbecsülhetjük-e a biztosító által a kárigényeknek fizetendő összes költséget? 'Vagy' Megbecsülhetjük a csapadékmennyiséget a közelgő monszun alatt? '
A prediktív elemzés segít a fontos kérdések hozzávetőleges vagy valószínűsített eredményének megfogalmazásában, amelyek hatalmas méretű üzleti és társadalmi-gazdasági változásokat eredményeznek. A gépi tanulási modelleket a történelmi adatok alapján fejlesztették ki, hogy előre jelezzék a hasonló láthatatlan jövőbeli események kimenetelét.
4. Inferenciaanalízis
Az inferenciális elemzés az adattudomány irodalma, miközben több szektorra előre jelezzük a referencia eredményt. Például a fogyasztói árindex vagy az egy főre jutó jövedelem kiszámítása. Nem lehetséges egyes fogyasztókat egyenként elérni és kiszámítani. Ehelyett tudományosan mintákat veszünk a lakosságból, és statisztikai elemzés segítségével levezetjük az indexet.
Következtetés
Ebben a cikkben megvitattuk az adatelemzés különféle módszereit. Használnunk kell ezeket a módszereket, vagy használhatjuk ezek közül bármelyiket? Nos, ez most az alkalmazás használati esetén és domainjén alapul. De a legtöbb esetben a leíró és feltáró adatok elemzésével kezdjük, és prediktív modelleket dolgozunk ki a jövőbeli eredmények előrejelzésére.
Ajánlott cikkek
Ez egy útmutató az adatelemzés típusaihoz. Itt az adatanalízis rövid áttekintését és a különféle módszertanokat tárgyaljuk az alkalmazás esetétől és tartományától függően. Megnézheti a javasolt cikkeket is, ha többet szeretne megtudni -
- A 8 legfontosabb ingyenes adatelemző eszköz
- Bevezetés az adatelemzési technikák típusaiba
- Adatanalitika vs. adatelemzés - legfontosabb különbségek
- Ismerje meg az adatintegráció fogalmát