Különbségek a szövegbányászat és a szöveges elemzés között
A strukturált adatok az 1900-as évek eleje óta ott vannak, de a szövegbányászat és a szövegelemzés annyira különlegessé vált, hogy az információt strukturálatlan adatokból kihasználják (természetes nyelvfeldolgozás). Ha sikerül ezt a nem strukturált szöveget félig strukturált vagy strukturált adatokké konvertálni, akkor rendelkezésre áll az összes ex-adatbányászati algoritmus. Statisztikai és gépi tanulási algoritmusok.
Még Donald Trump képes volt felhasználni az adatokat, és olyan információkká alakítani, amely elősegítette őt az amerikai elnökválasztás megnyerésében, és alapvetően nem azt tette, amit a beosztottjai tették. Van egy nagyon jó cikk, amely itt található: http://fivethirtyeight.com/features/the-real-story-of-2016/, ahol átnézheti .
Sok vállalkozás elkezdte a szövegbányászatot, hogy értékes bemeneteket használjon a rendelkezésre álló szövegből, például egy termék-alapú vállalat felhasználhatja a twitter adatokat / Facebook adatokat annak érdekében, hogy megtudja, mennyire vagy rosszul teljesítik termékeiket a világon a Sentimental segítségével. Elemzés. A kezdeti napokban a feldolgozás sok időt, napot igényelt, sőt, a gépi tanulási algoritmusok feldolgozására vagy megvalósítására, de olyan eszközök bevezetésével, mint a Hadoop, Azure, KNIME és más nagy adatfeldolgozó szoftverek. A szövegbányászat óriási népszerűséget nyert a piacon. Az asszociált bányászatot használó szöveganalitika egyik legjobb példája az Amazon ajánlásmotorja, amely automatikusan ajánlásokat ad ügyfeleinek, amit mások vásároltak valamelyik termék vásárlásakor.
Az, hogy a szövegbányászási eszközöket valamely formában nem digitális formátumban / számítógép-meghajtón alkalmazzák, az egyik legnagyobb kihívás a készítés folyamata. A régi archívumokat és számos fontos dokumentumot, amelyek csak papírokban érhetők el, olykor az OCR (Optical Character Recognition) segítségével olvasják, amelyekben sok hiba van, és néha az adatokat manuálisan adják meg, ami hajlamos az emberi hibákra. Ennek oka az, hogy ezeket olyan betekintésekre tehetjük, amelyek a hagyományos olvasásból nem láthatóak.
A szövegbányászat néhány lépése a következő
- Információszerzés
- Adat előkészítése és tisztítása
- szegmentálás
- tokenizálás
- Stop-számok és írásjelek eltávolítása
- fakadó
- Konvertálás kisbetűsre
- POS-címkézés
- Hozzon létre szövegkorpuszt
- Term-Document mátrix
Az alábbiakban a Szöveg elemzés lépései vannak, amelyeket a Term dokumentum dokumentum mátrix elkészítése után alkalmazunk
- Modellezés (Ez magában foglalhatja a következtetési modelleket, prediktív modelleket vagy előíró modelleket)
- Képzés és modellek kiértékelése
- Ezen modellek alkalmazása
- A modellek megjelenítése
Az egyetlen dolog, amelyet mindig meg kell emlékezni, az, hogy a szövegbányászat mindig megelőzi a szövegelemzést.
Összehasonlítás a szövegbányászat és a szöveges elemzés között (Infographics)
Az alábbiakban a Prediktív szövegbányászat és a Szöveges elemzés öt összehasonlítása található 
Legfontosabb különbségek a szövegbányászat és a szöveges elemzés között
Különbséget tegyünk a szövegbányászatban és a szövegelemzésben azon lépések alapján, amelyek néhány alkalmazásban részt vesznek, ahol ezeket a szövegbányászatot és a szövegelemzést is alkalmazzák:
• A dokumentumok osztályozása
Ebben a szövegbányászatban szereplő lépések a tokenizálás, a törlés és a lemmatizálás, a jelszavak és az írásjelek eltávolítása, és végül a frekvencia mátrix vagy a dokumentum frekvencia mátrixok kiszámítása.
Tokenizálás - Az egész adat (korpusz) kisebb darabból vagy kisebb szavakból történő szétválasztása, általában egyetlen szav, tokenizációnak nevezik (N-Gram modell vagy szavak zsákja modell)
Stemming és lemmatizáció - Például a nagy, nagyobb szavak ugyanazt jelentik, és duplikált adatokat képeznek, és az adatok redundációjának megőrzése érdekében lemmatizálunk, a szavakat összekapcsolva a gyökérszóval.
Stop szavak eltávolítása - A stop szavak nem használhatók az elemzésben, amely olyan szavakat fog tartalmazni, mint amilyen van, a, és stb.
Kifejezési gyakoriság - Ez egy olyan mátrix, amelynek sorfejlécei vannak a dokumentum nevének és oszlopának a kifejezései (szavak), és az adatok az adott dokumentumokban előforduló szavak gyakorisága. Az alábbiakban egy mintaképernyő látható. 
A fenti ábrán a sorokban (szavakban) szereplő attribútumok, oszlopokként a dokumentum száma és adatokként a szó gyakorisága szerepel.
A szöveges elemzéshez a következő lépéseket kell figyelembe vennünk
Klaszterezés - K-eszköz klaszterezés / Neurális Hálózatok / CART (Osztályozási és regressziós fák) vagy bármilyen más klaszterezési algoritmus segítségével a dokumentumokat a létrehozott szolgáltatások alapján csoportosíthatjuk (itt itt a szavak jellemzik).
Értékelés és megjelenítés - A klasztert két dimenzióban ábrázoljuk és megvizsgáljuk, hogy ezek a klaszterek hogyan különböznek egymástól, és ha a modell jól tartja a tesztadatokat, akkor felhasználhatjuk a gyártásban, és jó dokumentum osztályozó lesz, amely osztályoz minden új dokumentumok, amelyeket bemenőként adnak meg, és csak azt a fürtöt nevezik, amelybe bele fog kerülni.
• Érzelemzés
A piacon az egyik legerőteljesebb eszköz, amely elősegíti a twitter adatok / Facebook adatok vagy bármilyen más adat feldolgozását, amely felhasználható az érzelmek bevezetésére, függetlenül attól, hogy az érzés jó, rossz vagy semleges egy adott folyamat / termék vonatkozásában. vagy a személy érzelmi elemzése.
Az adatok forrása könnyen elérhető a twitter API / Facebook API használatával, hogy tweeteket / megjegyzéseket / kedveléseket stb. Szerezzen a tweeten vagy egy cég bejegyzésén. A legnagyobb probléma az, hogy ezeket az adatokat nehéz felépíteni. Az adatok különféle hirdetéseket is tartalmaznának, és a cégnél dolgozó adattudósnak meg kell győződnie arról, hogy az adatok kiválasztása a helyes módon történik-e, úgy, hogy csak a kiválasztott tweetek / hozzászólások menjenek keresztül az előfeldolgozási szakaszokban.
Egyéb eszközök közé tartozik a webkaparás, ez a szövegbányászat része, amelyben bejárja a webhelyek adatait bejárók segítségével.
A szövegbányászat folyamata ugyanaz, mint a tokenizálás, a törlés és a lemmatizálás, a jelszavak és az írásjelek eltávolítása, és végül a számolás, a frekvencia mátrix vagy a dokumentum frekvencia mátrixok kifejezése, de az egyetlen különbség az érzelmi elemzés alkalmazásakor jelentkezik.
Általában minden postára / tweetre pontszámot adunk. Általában, amikor egy terméket vesz, és áttekintést ad, akkor lehetősége van arra is, hogy csillagokat adjon az áttekintéshez, és megjegyzést tegyen. A Google, az Amazon és más webhelyek a csillagokat használják a megjegyzés értékeléséhez, nemcsak ezt, hanem a tweeteket / hozzászólásokat és az embereknek adják őket jó / rossz / semleges osztályozáshoz, és e két pontszám összefésülésekor új pontozást adott tweetre / bejegyzésre.
Az érzelmi elemzés megjelenítéséhez szó felhő, frekvenciatartomány mátrix oszlopdiagramjai használhatók.
• Bányászati elemzés társulása
Az egyik alkalmazás, amelyen néhány srác dolgozott, a „Kábítószer-események kimenetelének valószínűségi modellje” volt, amelyben ellenőrizhető, hogy melyik mellékhatás okozhat más mellékhatásokat, ha valamilyen gyógyszert szed.
A szövegbányászat az alábbi munkafolyamatot tartalmazza
A fenti ábrán láthatjuk, hogy az adatbányászatig minden lépés a szövegbányászathoz tartozik, amely azonosítja az adatforrást, kinyeri, majd elemzésre készen áll.
Ezután az asszociációs bányászat alkalmazásával megkapjuk az alábbi modellt
Amint láthatjuk, hogy néhány nyíl a narancssárga kör felé mutat, majd az egyik nyíl az adott ADE (káros gyógyszer esemény) felé mutat. Ha példát veszünk a kép bal alsó részén, akkor apátia, astenia és az abnormális érzés bűntudatot okozhat, mondhatjuk, hogy nyilvánvaló, nyilvánvaló, mert emberként értelmezni és összekapcsolni lehet, de itt egy gép értelmezi és megadja nekünk a következő kábítószer-eseményt.
Példa a felhő szóra az alábbiak szerint
Összehasonlító táblázat a Szövegbányászat és a Szöveges elemzés között
Az alábbiakban felsoroljuk a pontok listáját, írjuk le a szövegbányászat és a szöveges elemzés összehasonlítását:
| Az összehasonlítás alapja | Szöveg bányászat | Szöveges elemzés |
|
Jelentés | A szövegbányászat alapvetően azt jelenti, hogy megtisztítja a szárazföldi adatokat, hogy azok rendelkezésre álljanak a szöveges elemzéshez | A Szöveg elemzés statisztikai és gépi tanulási technikákat alkalmaz annak érdekében, hogy előre jelezze / előírhassa vagy következtethessen bármilyen információt a szövegbányászott adatokból. |
|
Koncepció | A szövegbányászat olyan eszköz, amely elősegíti az adatok megtisztítását. | A szöveges elemzés az algoritmusok alkalmazásának folyamata |
|
Keretrendszer | Ha a keretről beszélünk, akkor a szövegbányászat hasonló az ETL-hez (Extract Transform Load), ami azt jelenti, hogy adatokat be lehet illeszteni az adatbázisba, ezeket a lépéseket végrehajtjuk | A szöveges elemzésben ezeket az adatokat hozzáadják az értékekhez az üzleti életben, például létrehozva szófelhőket, két gramm gyakorisági diagramot, egyes esetekben N-grammot. |
|
Nyelv | A Python és az R a leghíresebb szövegbányászati eszközök a szövegbányászathoz | Szöveges elemzéshez, amint az adatok adatbázis-szinten rendelkezésre állnak, akkor bármelyik ott létező elemző szoftvert felhasználhatjuk, beleértve a pythonot és az R.-t. Egyéb szoftverek között szerepel a Power BI, Azure, KNIME stb. |
|
Példák |
|
|
Összegzés - szövegbányászat vs szövegelemzés
A szövegbányászat és a szövegelemzés jövője nemcsak az angolra vonatkozik, hanem folyamatos fejlesztésekre is sor került, és a nyelvi eszközök használatánál nemcsak az angolok más nyelveit veszik fontolóra az elemzéshez.
A szövegbányászat terjedelme és jövője növekszik, mivel korlátozott források állnak rendelkezésre a többi nyelv elemzésére.
A Szöveges elemzés nagyon széles tartományban alkalmazható, az iparágak néhány példája, ahol ez használható:
- Közösségi médiafigyelés
- Pharma / Biotech alkalmazások
- Üzleti és marketing alkalmazások
Ajánlott cikk
Ez útmutatóként szolgál a szövegbányászat és a szöveges elemzés közötti különbség, jelentésük, a fej-fej összehasonlítás, a legfontosabb különbségek, az összehasonlító táblázat és a következtetés között. A következő cikkeket is megnézheti további információkért -
- Azure Paas vs Iaas - Fedezze fel a különbségeket
- Adatbányászat és a szövegbányászat ismertetésének három legjobb dolga
- Tudja meg a legjobb 7 különbséget az adatbányászat és az adatelemzés között
- Üzleti intelligencia vs. gépi tanulás - melyik a jobb
- Prediktív elemzés vs. adatbányászat - melyik a leghasznosabb