Big Data technikák: A technológia és az üzleti elemzés összefonódása
A technológia és az üzleti elemzés összefolyása -
Régóta, régen a férfiak nomád életet élnek, majd fokozatosan a mezőgazdaság felé fordultak. A kerék, a tűzoltó és a gőzgép feltalálását gyakran fordulópontnak tekintik az emberiségnek a gépesítés és a megnövekedett élettartam felé mutató fejlődésében.
Hasonlóképpen, a legendás Newton mozgás- és gravitációs törvénye, Einstein relativitáselmélete, amely most a 100. évfordulóját ünnepli, vagy a termodinamika törvénye, mind forradalmasították a tudományt és befolyásolták az alkalmazott tudományt. A számítógép találmánya, a személyi számítógép megérkezése és a grafikus felhasználói felület (GUI) mind mérföldkövek a digitális korszak fejlődésében. A bináris számok és a nullák közé tartoznak a közgyűlés szintjén levő nyelvek.
Bináris és nagy adatmennyiségek
Hardver szinten a nullák és az egyek táplálják az áramköröket egy számítógépen, üzleti szinten a Big Data technikák változtatnak abban, hogy a vállalatok hogyan dolgoznak ki marketing stratégiákat a versenyképesség megőrzése érdekében. Összeállhat egyetlen számjegyből és több számjegyből, amelyek mindegyike lényeges információkat tartalmaz a piacról, a gép működéséről, az emberi test működéséről, az e-kereskedelem tranzakcióiról vagy csaknem mindennapi tevékenységről, amelynek esetleg nincs vagy nincs semmi a vásárláshoz vagy az eladáshoz kapcsolódik.
A vállalkozások és a számviteli szakemberek általában az eszközökről és a kötelezettségekről beszélnek. A hagyományosan az eszközök a gépeket, a technológiát, a know-how-t, az emberi erőforrásokat, az infrastruktúrát és a pénzügyi eszközöket is jelölték.
Most paradigmaváltás történik, és a tárgyi eszközök mellett egyes egy- és többjegyű számok vagy adatok válnak a legbecsülhetetlenebb eszköznek, amikor a szervezetek és a piacok méretük növekszik. A marketing és a big data stratégiai szempontból az adatok váltak a legfontosabb eszköznek.
A vállalkozások mérete és mérete növekszik. Már nem kicsi szép vagy életképes. A több országot érintő tevékenységek, a nagy bevásárlóközpontok és a nagy volumenű e-kereskedelemmel foglalkozó vállalkozások új tendenciát jelentettek az egész világon. A nagy üzleti vállalkozás sikeréhez az adatok és az elemzés kritikus jelentőségűvé váltak. A vállalkozásoknak a Big Data Hadoop után van, hogy kihasználják piaci intelligenciájukat és megértsék az ügyfelek igényeit.
A technológia és az adatelemzés összefolyása
Képforrás: pixabay.com
A nagy adatmennyiségek, amelyekkel a szervezetek rendelkeznek, értelmetlenek, hacsak nincs támogató technológia az adatok bányászatához, feldolgozásához és megszervezéséhez a vállalkozások számára ennek a létfontosságú eszköznek a felhasználására. Bernard Marr, a neves író és elemző azt mondta, hogy a vállalkozások méretétől függetlenül, legyen az egy Fortune 500 társaság, vagy egy kis anya és pop üzlet, a Hadoop Big Data használatát igényelnék, hogy tanúja lehessen a változásnak, amelyet a vállalkozások hajtanak végre.
A nagy adatszolgáltatási technikák nagy adatkészletek gyűjteményét jelentik, és óriási számú, hogy kifinomult programokra van szükség az adatok elemzéséhez és értelmes információk létrehozásához. Lehet, hogy vásárlási szokások, filmekhez való látogatás gyakorisága, bejelentkezési gyakoriságú webhelyek, online vásárlás, élelmiszerek rendelése, mobiltelefonok cseréjének gyakorisága stb.
Különböző eszközöket, keretrendszereket és technikákat használnak a nagy adatkészletek elemzésére, és ezek az iparág nagyon keresettek. A szakértők szerint nem az adatok fontosak, hanem az, hogy mit tesz a vállalat ezekkel az adatokkal.
A különféle technológiák és platformok között a Hadoop vált a legnépszerűbbé, bár ennek vannak hátrányai. Ez egy nyílt forráskódú fejlesztői platform, amelyet C, C ++, Java nyelven írnak, és segít a szervezeteknek a hatalmas adatmennyiség valós időben történő elemzésében.
Nagyméretű adatok valós időben
A gyűjtés, tárolás, mozgatás és elemzés nem statikus tevékenység, hanem dinamikus, valós idejű környezeteket is magában foglaló tevékenység. Folyamatosan gyűjtik az adatokat repülőgépekről, gépjárműmotorokról, kórházakban a betegekhöz csatlakoztatott monitorokról, online hitel- vagy betéti kártya tranzakciókról, amelyek mindegyike kifinomult algoritmusokat, programokat, nagy adat architektúrát és robusztus memória-feldolgozási képességet igényel.
John Schroeder, a MapR vezérigazgatója elmondta, hogy rendelkeznek Big Data alkalmazásokkal, amelyek megvédik az American Express kártyatulajdonosok millióit a csalárd tranzakcióktól, és az egészségügyi ellátás területén javítják a rákos betegek kezelési eljárásait.
Az olyan globális informatikai társaságok, mint a Microsoft, az Oracle, az SAP, az IBM a felhőplatformon vannak, és lehetővé teszik a nagy adattechnikák megoldását is.
Big Data technikák és a tárgyak internete
A webes és a beágyazott technológia gyors változásai lehetővé tették, hogy sok eszköz összekapcsolódjon egymással, és képes valós időben adatokat küldeni. Megjelent egy internet, amely "dolgokból" áll, nem pedig emberekből és számítógépekből.
Minden olyan eszköz, amelyet hordunk vagy használunk, képes véget vetni az adatoknak, amelyek viszont széles körű alkalmazást jelentenek többek között a nagy adatforgalom, a tervezés és az egészségügy területén.
Adatbányászat
Most nagy teljesítményű szuperszámítógépeket telepítenek a relációs adatbázisokból származó adatok bányászatához, és segítik a statisztikusokat és elemzőket modellek létrehozásában. Számos újító jött ki olyan eszközökkel, amelyekkel kidolgozhatók a prediktív nagy adatok elemzésére szolgáló modellek a vállalkozások jobb döntéshozatalához. Ezenkívül egyszerű grafikus felhasználói felületet (GUI) nyújtanak, és nagyon felhasználóbarát.
A karrier a Big Data technikákban
Természetesen elegendő a nagy adatforgalom forradalma egy újfajta szakértőt hozott létre, akik e nagy adatanalitika és technológia meghatározott területeivel vannak kapcsolatban. Az igényes technológiai készségek között szerepel az Apache Hadoop, Apache Spark, NoSQL, gépi tanulás és adatbányászat, statisztikai és kvantitatív elemzés, SQL, adatmegjelenítés, adattudósok, általános célú programozási nyelvtudás. Az elemzők szerint a lehetőségek a következő évtizedben várhatóan növekednek az ezen a területen zajló gyors fejleményeknek köszönhetően.
2015-ben valóban óriási igény mutatkozik a nagy adatszolgáltatási technikákkal kapcsolatos szakértelemre nézve, az IBM júniusban az elmúlt tizenkét hónapban 2 307 pozíciót hirdetett - mondta a Forbes magazin az év közepén készített becslésében. A Big Data képzéssel rendelkező műszaki szakemberek számára hirdetett fizetés 104 850 USD. A legkeresettebb készségek a VMWare szaktudás, alkalmazásfejlesztés, nyílt forráskódú technológia, adattárolás és Python programozási készségek voltak.
Iparági szempontból a Big Data technikák és szolgáltatások igénybevételének legmagasabb szintű szakmai, tudományos és műszaki szolgáltatásai a kereslet 25% -át teszik ki. Az egyéb vezető kategóriák között az információs technológiák 17% -ot, a feldolgozóipar 15% -át, a pénzügyek és biztosítások 9% -át, valamint a kiskereskedelem 8% -át teszik ki.
A Big Data elemzés előnyei
1) Adatok tárolása, kitermelése és elemzése:
A nagy adattechnológiák lehetővé tették a tárolt és a valós idejű adatok telepítését különféle üzleti és küldetés szempontjából kritikus alkalmazásokhoz
2) Piaci előrejelzés és előrejelzés:
A nagy adatfeldolgozás előtti korszakban a vállalatokat arra kényszerítették, hogy valós időben végezzenek értelmes adatelemzést, vagy technológia hiányában prediktív elemzést végezzenek. A mintavételes felmérések és az ügyfelek visszajelzései az egyetlen megoldást kínálják a stratégák számára, akik új piaci ajánlatokkal innoválhatnak.
3) A vállalkozások nagy mennyiségű adatot állítanak elő, és az előző években, mivel a gyűjtéshez és elemzéshez nem voltak elegendő nagy adat eszköz, a vállalkozások nem használtak fontos eszközt velük.
4) Valós idejű nagy adat üzleti környezetben a hackelés és az adatok eltulajdonítása kritikusan befolyásolhatja a szervezet működését, az ügyfelek bizalmát, és kiszolgáltatottá teheti a további vonalbeli támadásokat. Bebizonyosodott, hogy a nagy adatok és a Hadoop segítenek a szervezeteknek az adatlopások felderítésében. Az adatlopások módszerei gyorsabban fejlődnek, mint a lopásgátló módszerek vagy megelőző tevékenységek.
A Big Data technikák az egyetlen követelmény a sikerhez
A nagy adatok által létrehozott hype nem ment túl jól azokkal a kritikusokkal, akik rámutattak az adatipar ipari problémákhoz kapcsolódó néhány problémájára. Néhány elemző megkérdőjelezte, hogy van-e pozitív befektetési megtérülés (ROI), és érdemes-e megtenni az időt és erőfeszítéseket annak megvalósításához. A második a nagy mennyiségű adat és elemzés vonatkozásában történik, amely esetleg nem magyarázza meg az ilyen fogyasztói magatartás „miért” történését.
A nagy adatok elemzése hatékonyan használható a hagyományos felmérési módszerekkel (vastag adatok) összekapcsolva, amelyek a megtakarítás, a befektetés, a vásárlás és a kiadások viselkedésének demográfiai mintáit térképezik fel régiókban, és ez szélesebb körű piaci megértést biztosít. A Big Data eszközök képet adhatnak arról, hogy mi történt és hogyan, de a „miért” történik csak az egyes fogyasztók vagy régiók széles körű megértése, többek között a demográfiai profil, az életmód preferenciái, a kiadási szokások alapján érthető meg, a Big szkeptikusai szerint. Adat eszközök.
Főbb trendek a Big Data technológiában
John Schroeder, a MapR vezérigazgatója és társalapítója szerint, a Big Data megoldásokat szállító cég előre jelezte a 2015-re megjelenő tendenciákat, és ezek többsége igaznak tűnt.
Adatközpontok az adattó-tavakhoz: A méretezhető infrastruktúrával rendelkező adattó-tavak kedvezőnek tűnnek, mivel gazdasági szempontból vonzóak, csökkentett terabyte-költségenként).
Önkiszolgáló szolgáltatás: Az önkiszolgáló nagyméretű adatkezelő eszközök képessé teszik a fejlesztőket, adattudósokat és elemzőket az adatok közvetlen kutatására.
Adatok agilitása
Ahogy az adatbázis bővül, és gyorsabb feldolgozásra van szükség, úgy tűnik, hogy a régi rendszerek lelassítják a folyamatot. A régi adatbázisokat és raktárakat túl lassúnak találták, ezért a szervezetek azt vizsgálják, mennyire ingatag az adatfeldolgozásuk.
Hadoop az innovációs szakaszban: A Hadoop továbbra is az innovációs szakaszban marad, és Shroeder úgy véli, hogy valószínűleg zajlik a nyílt forráskódú szoftverek árnyaltabb modellje, mély innovációval és közösségfejlesztéssel kombinálva.
Biztonsági Kihívás
A nagy adattárolás és -feldolgozás egyre inkább kiszolgáltatottá válik a nyílt forráskódú Hadoop rendszer biztonsági veszélyeivel szemben. A biztonsági funkciók azonban még nem felelnek meg ezeknek a fenyegetéseknek, különösen összehasonlítva a biztonságosabb vállalati erőforrás-tervezési (ERP) rendszerekkel és relációs adatbázisokkal.
Felhő alapú számítástechnika
A felhőalapú számítástechnika gyors fejlődése lehetővé teszi még a kis- és középvállalkozások számára a SaaS (szoftver mint szolgáltatás), a Platform as a Service (PaaS) és a forgalmazók által biztosított más platformok használatát, amelyek lehetővé teszik a nagy adatszolgáltatások sokkal olcsóbb felhasználását. költségek, amelyek során nincs szükség költséges licencdíjakra és telepítésekre.
Bernard Marr, a neves író és elemző szerint kifinomult algoritmusok kerülnek a felhőtérbe a SaaS-on keresztül, amely pontosabb képet ad arról, hogy mikor, hogyan és miért értékesítik a terméket. Idézve az AutoDesk Charlie Crockerét, rámutat arra, hogy a Big Data ügyfelek visszajelzésének megérkezéséig nehéz feladat volt, ám a most működő kifinomult algoritmusokkal a nagy adatgyártók jobban megértik a fogyasztói magatartást és termékeket készítenek számukra.
A Big Data eszközök jövője fényes
A International Data Corp azt jósolja, hogy a nagy adatpiac növekedése 239% -os éves növekedési ütem mellett 2019-ig terjed, és az éves kiadások 2019-ben eléri a 48, 6 milliárd dollárt. Az IDC úgy véli, hogy a három fő alpiac: az infrastruktúra, a szoftverek és a szolgáltatások jelentősen növekedni fognak a következő öt évben. szoftverekkel - információkezeléssel, felfedezéssel és elemzéssel, valamint alkalmazásszoftverekkel - a 26% -os CAGR-t terhelő ügyfelek vezetik.
Az IDC azt jósolja, hogy a szolgáltatások - ideértve az infrastruktúra és a szoftver szakmai és támogató szolgáltatásait is - 22, 7 százalékos CAGR-növekedéssel növekednek. Előrejelzése szerint az infrastruktúra - amely számítástechnikából, hálózatépítésből, tárolási infrastruktúrából és egyéb adatközponti infrastruktúra-jellegű biztonságból áll - 21, 7 százalékos CAGR-növekedéssel növekszik, és 2019-ig az összes kiadás nagyjából felét teszi ki.
„A nagy adatok és az elemzés kihasználásának képessége az ügyfelek tevékenységeinek és üzleti tevékenységeinek integrált nézetének kialakítása érdekében versenyképes differenciálódást biztosít a vállalkozások számára az iparágakban” - mondta Jessica, Goepfert, az IDC Globális Technológiai és Ipari Kutatási Szervezetének programigazgatója. „A hatalmas lehetőségek mellett a nagy adatok azonban jelentős kockázatokat is jelentenek
A digitális átalakulás (DX) a következő években „mindent, ami számít az informatikában”, meghajtja. Az IDC által a DX gazdaságnak nevezhető technológiák, például mobil, felhő, nagy adatanalitikai eszközök, IoT, AI és robotika felhasználása az „új ajánlatok, új üzleti modellek és új vevői, beszállítói és disztribútor-kapcsolatok révén versenyképesség előteremtése, ”- mondta Frank Gens, az IDC fő elemzője.
Kulcsfontosságú elvihető lehetőségek az IDC előrejelzései alapján
- 2020-ra az informatikai költségvetés csaknem 50% -át a DX (digitális átalakítás) kezdeményezésekhez kötik.
- 2018-ig az üzletágvezetők (LOB) vezetői ellenőrzik az összes IT-kiadás 45% -át + a világszerte, több mint 60% -ot az Egyesült Államokban
- 2017-re az informatikai kiadások több mint 50% -át új technológiákra (mobil, felhő, nagy adat eszközök stb.) Fordítják.
- Egyes szakértők szerint még a gyorsan fejlődő technológiák és platformok esetén is kétséges, hogy az összes rendelkezésre álló adatot elemezzék-e, vagy erre nincs szükség. Fontos az, hogy a releváns adatokat azonosítják és elemzik-e az érdekelt felek érdekében.
Ajánlott cikkek
Íme néhány cikk, amely segít részletesebben megismerni a nagy adatszolgáltatási technikákat, ezért csak keresse meg a linket.
- 8 Leghasznosabb útmutató a Big Data interjúkérdésekhez
- Miért az innováció a nagy adatok kritikus szempontja?
- A nagy adatok öt legfontosabb trendje, amelyet a vállalatoknak elsajátítaniuk kell
- Mik a NOSQL készségek a nagy adatpálya felépítésében?
- Útmutató az adatbányászat bevezetéséhez