Különbség az adattudomány és a gépi tanulás között
Az adattudomány a statisztikák evolúciós kiterjesztése, amely képes számottevõ mennyiséggel foglalkozni számítógépes technológiák segítségével. A gépi tanulás olyan tanulmányi terület, amely a számítógépek számára lehetővé teszi a tanulást anélkül, hogy kifejezetten programozva lennének. Az adattudomány az adattechnológiák széles skáláját fedi le, beleértve az SQL, Python, R, és a Hadoop, Spark stb. Gépi tanulást folyamatnak tekintik, ez az a folyamat, amelynek segítségével a számítógép pontosabban tud dolgozni, amikor összegyűjti és megtanulja a kapott adatok alapján.
Head of Head összehasonlítása az adattudomány és a gépi tanulás (infographics) között
Az alábbiakban az adattudomány és a gépi tanulás öt legfontosabb összehasonlítása található
Legfontosabb különbség az adattudomány és a gépi tanulás között
Az alábbiakban bemutatjuk a különbséget az adattudomány és a gépi tanulás között
- Komponensek - Mint korábban említettük, az Data Science rendszerek lefedik az adatok teljes életciklusát, és általában az alábbiakra terjednek ki:
- Adatok gyűjtése és profilozása - ETL (Extract Transform Load) csővezetékek és profilozási feladatok
- Elosztott számítástechnika - Vízszintesen skálázható adatterjesztés és -feldolgozás
- Intelligencia automatizálása - Automatizált ML modellek online válaszokhoz (előrejelzés, ajánlások) és a csalások felderítéséhez.
- Adatmegjelenítés - Vizuálisan fedezze fel az adatokat az adatok jobb megértése érdekében. Az ML modellezés szerves része.
- Irányítópultok és BI - előre definiált irányítópultok szelet- és kockaképességgel a magasabb szintű érintettek számára.
- Adatkészítés - A hideg és meleg adatok mindig hozzáférhetővé tétele. Magában foglalja az adatok biztonsági mentését, biztonságát, katasztrófa utáni helyreállítást
- Telepítés termelési módban - A rendszer átállítása a termelésbe az ipari szabványoknak megfelelően.
- Automatizált döntések - Ide tartozik az üzleti logika az adatok tetején történő futtatása vagy egy komplex matematikai modell, amely bármilyen ML algoritmussal képzett.
A gépi tanulás modellezése az adatok létezésével kezdődik, és a tipikus összetevők a következők:
- A probléma megértése - Győződjön meg arról, hogy a probléma hatékony megoldása az ML. Vegye figyelembe, hogy nem minden probléma megoldható az ML használatával.
- Adatok felfedezése - Az ML modellben használandó szolgáltatások intuíciójának megismeréséhez. Ehhez egynél több iterációra lehet szükség. Az adatmegjelenítés kritikus szerepet játszik itt.
- Adatok előkészítése - Ez egy fontos szakasz, amely nagy hatással van az ML modell pontosságára. Az adatkérdéssel foglalkozik, például azzal, hogy mit kell tenni egy szolgáltatás hiányzó adataival? Cserélje le olyan dummy értékre, mint nulla, vagy más érték átlagára, vagy dobja el a funkciót a modellből ?. Számos más ML modellnél kritikus a méretezési tulajdonságok, amelyek biztosítják, hogy az összes elem értékei azonos tartományban legyenek. Sok más módszer, például a polinomiális elemek generálása is itt használatos új funkciók származtatására.
- Válasszon modellt és vonatot - A modellt a probléma típusa (előrejelzés vagy osztályozás stb.) És a szolgáltatáskészlet típusa alapján választják ki (egyes algoritmusok kevés példányban működnek, sok funkcióval, mások pedig más esetekben) .
- Teljesítménymérés - Az adattudományban a teljesítménymutatók nem standardizáltak, az esetről esetre változik. Általában ez jelzi az adatok időszerűségét, az adatok minőségét, a lekérdezési képességet, az adathozzáférés párhuzamossági korlátait, az interaktív megjelenítési képességet stb.
Az ML modellekben a teljesítménymutatók kristálytiszta.Mindegyik algoritmusnak rendelkeznie kell egy méréssel, amely megmutatja, hogy a modell milyen jól vagy rosszul írja le a megadott képzési adatokat. Például az RME-t (Root Mean Square Error) a Lineáris Regresszióban használják egy hiba a modellben.
- Fejlesztési módszertan - Az adattudományi projektek inkább egy egyértelműen meghatározott mérföldkövekkel kapcsolatos mérnöki projektekhez igazodnak. De az ML-projektek inkább kutatási jellegűek, amelyek hipotézissel kezdődnek, és megpróbálják a rendelkezésre álló adatokkal bizonyítani.
- Megjelenítés - A megjelenítés általában A Data Science az adatokat közvetlenül reprezentálja olyan népszerű grafikonok felhasználásával, mint a sáv, a pite stb. De az ML-ben a használt megjelenítések az edzési adatok matematikai modelljét is képviselik.Például a többosztályú osztályozás zavartalan mátrixának megjelenítése elősegíti a hamis adatok gyors azonosítását. pozitív és negatív.
- Nyelvek - Az SQL és SQL, mint a szintaxis nyelvek (HiveQL, Spark SQL stb.) A leggyakrabban használt nyelv az Adattudomány világában.Populáris adatfeldolgozó szkriptnyelvek, például Perl, awk, sed szintén használatban vannak. széles körben (Java Hadoop, Scala for Spark stb.) használt kategória.
A Python és az R a leggyakrabban használt nyelv a gépi tanulás világában. Manapság a Python egyre nagyobb lendületet kap, mivel az új mély tanulást végző kutatók többnyire pythonra konvertálódnak. Az SQL fontos szerepet játszik az ML adatkutatási szakaszában is.
Adattudomány és gépi tanulás összehasonlító táblázata
| Az összehasonlítás alapja | Data Science | Gépi tanulás |
| terület | Hozzon létre betekintést az adatokból, amelyek az összes valós bonyolultsággal foglalkoznak. Ez magában foglalja az olyan feladatokat, mint a követelmény megértése, az adatok kibontása stb. | Pontosan osztályozza vagy megjósolja az új adatpont eredményét a történeti adatokból származó tanulási minták felhasználásával, matematikai modellek segítségével. |
| Beviteli adat | A bemenő adatok nagy részét emberi fogyóeszközként állítják elő, amelyet az emberek olvasnak vagy elemeznek, például táblázatos adatok vagy képek. | Az ML bemeneti adatai kifejezetten a használt algoritmusokhoz kerülnek átalakításra. Néhány példa a jellemzők méretezése, a Word beágyazása vagy a polinom jellemzők hozzáadása |
| A rendszer komplexitása | ● Alkatrészek a nem strukturált nyers adatok kezelésére.
● Sok mozgó alkatrész, amelyet általában egy zenekari réteg ütemez a független feladatok szinkronizálására | ● A legnagyobb bonyolultság az algoritmusok és a matematikai fogalmak mögött áll
● Az együttes modelleknél egynél több ML modell lesz, és mindegyiknek súlyozott hozzájárulása lesz a végső outputhoz |
| Előnyben részesített készség | ● Domain szakértelem
● Az ETL és az adatok profilozása ● Erős SQL ● NoSQL rendszerek ● Szabványos jelentés / megjelenítés | ● Erős matematikai megértés
● Python / R programozás ● Az adatok kóborolnak az SQL-lel ● Modell-specifikus megjelenítés |
| Hardver specifikáció | ● Vízszintesen skálázható rendszerek, amelyek inkább a masszív adatok kezelésére szolgálnak
● Magas RAm és SSD-k az I / O szűk keresztmetszet leküzdésére | ● A GPU-k előnyben részesülnek az intenzív vektorműveletekben
● Újabb hatalmas verziók, mint például a TPU-k (link), úton vannak |
Következtetés - Adattudomány és a géptanulás
Mind az adattudomány, mind a gépi tanulás során megpróbálunk információkat és betekintést nyerni az adatokból. Gépi tanulás, amelynek célja az algoritmusok megtanulása önállóan. Jelenleg a fejlett ML modelleket alkalmazzák az Data Science számára az adatok automatikus észlelésére és profilálására. A Google példa erre a Cloud Dataprep a legjobb példa.
Ajánlott cikk:
Ez egy útmutató az Adattan és a Gépi Tanuláshoz, azok jelentéséhez, a fej-fej összehasonlításhoz, a legfontosabb különbségekhez, az összehasonlító táblázat és a következtetés. A következő cikkeket is megnézheti további információkért -
- Hadoop fejlesztői interjú Kérdések
- Big Data vs Data Science - miben különböznek egymástól?
- Adattudomány és annak növekvő fontossága
- Statisztika vs. gépi tanulás-különbségek
- Hogyan lehet feltörni a Hadoop fejlesztői interjút?