Bevezetés a Talend Open Studio-ba

A Talend az Open Studio alkalmazást kínálja, amely nyílt forráskódú az adatintegrációhoz. Több mint 800 komponenst tartalmaz különféle integrációs célokra. Töltse le a Talend Open Studio-t a https://www.talend.com/download/ webhelyről

Az adatintegráció azt jelenti, hogy a különböző forrásokból származó adatokat egyesítik, és egyetlen nézetbe egyesítik, és így értelmes adatokhoz jutnak, amelyek elősegítik a vállalat vagy szervezet üzleti tevékenységének javítását az adatok elemzése révén. Az integráció elősegíti az adatok beszerzését, az adatok megtisztítását és a szükséges átalakításokat stb., Majd az adattárba történő betöltését.

Mi a Talend?

A Talend egy ETL eszköz, amelyet az adatok integrálására használnak. A Talend megoldást kínál az adatok előkészítésére, az adatok minőségére, az adatok integrálására és a nagy adatokra. Itt néhány elemet tárgyalunk. Az alábbiakban látható példa megkönnyítése érdekében egy sim operátor hatalmas adatokkal rendelkezik a tervekről, az ügyfelekről, a sim részleteiről stb. Ezek az adatok hatalmasak, tehát a nagy adatokat is felhasználják az integrációban.

Vevő Sim vásárlása kormányzati azonosító segítségével

A nevét AB C-nek nevezték el

címe Chennai, Chennai

telefonszám: 1234567890

Az adatok integrálása után

Keresztnév: AB

Vezetéknév: C

Cím: Chennai, India

Telefonszám: +911234567890

Az adatok megtisztulnak és valami értelmesebbé alakulnak.

Előnyök

  • Üzleti trendek elemzése az adatintegráció segítségével
  • Az adatok egyesítése egyetlen rendszerbe
  • Időmegtakarítás, hatékonyabb és kevesebb átdolgozás
  • Egyszerű jelentés generálás - a BI eszközök használják
  • Adatok karbantartása és beillesztése az adattárházba és az adatkártyák

Alkalmazás

Az alábbiakban említjük a következő alkalmazásokat

1. Együttműködés a Talenddel

  • Győződjön meg arról, hogy a Java telepítve van és a környezeti változók be vannak-e állítva.
  • Töltse le a nyílt forráskódú szoftvert a Talend webhelyről és telepítse a szoftvert.
  • Hozzon létre egy új projektet, és fejezze be a telepítést
  • A Talend megnyílik a designer fülön.
  • A Talend egy eclipse alapú eszköz, és az összetevőket el lehet húzni a palettáról, vagy rákattinthat, és beírhatja az összetevők nevét.

2. Az első feladat Fájl olvasása

  • Keresse meg a tFileinputdelimited összetevőt. Ezt az összetevőt az elválasztott fájlok olvasására használják.
  • Helyezze a tfileinputdelimited komponenst. Keresse meg a tlogrow-t, és helyezze el a munkatervezőbe.
  • Kattintson a jobb gombbal a tfileinputdelimited elemre, válassza a sor-> main elemet, és húzzon egy sort a tlogrow-hoz.
  • A komponensben a fül kiválasztja az olvasni kívánt fájl elérési útját, és a sor elválasztót jelöli \ n néven. Ha a fájlban elválasztó van, említheti a határolót.
  • Kattintson a sémára, és adja meg az oszloptípus részleteit, vagy elolvashatja az egész sort karakterlánccal, egyetlen oszloppal, és a határoló értékének üresnek kell lennie.
  • A fejléc és a lábléc is kihagyható.
  • A tlogrow összetevőben válassza ki, hogy miként látja az adatokat. Táblázat vagy egysoros formátum.
  • A tlogrow a kimenetet jeleníti meg a futókonzolban.
  • A tfileinputdelimited és a tlogrow összekapcsolása után futtassa a feladatot a Run fülről.
  • A nyomtatott konzolban láthatja a fájl tartalmát.

3. Egy második munka a Tmap segítségével

  • Olvassa el a fájlt és szűrje le különféle kimeneti fájlokba.
  • Olvassa el a tfileinputdelimited komponensben lévő fájlt, rekordként egy oszlop sémával.
  • Tmap-összetevő - Ez az elem segít az adatok átalakításában olyan beépített funkciókkal, mint a keresés, csatlakozások stb.
  • A tmap-ben hozzon létre két output1 és out2 kimenetet.
  • Az Out1 szűrőben adja hozzá a 3. sor.record.tartalmat („talend”), és húzza a rekordot az out1-re.
  • Húzza a rekordvonalat más out2-re.

  • A tmap-ből vegye ki a fő sorokat, és csatlakozzon két tfileoutputdelimited-hez.
  • out1 link az egyik tfileoutputdelimited1 fájlhoz1.txt, és out2 a másik tfileoutputdelimited2 fájlhoz2.txt.
  • A txt rekordok tartalmazzák a talend-et.
  • A txt más névvel rendelkező rekordokkal rendelkezik.

4. Beépített és tároló

  • A beépített eszköz azt jelenti, hogy minden alkalommal meg kell állítania az adatbázishoz való kapcsolódás sémáját vagy részleteit.
  • A tároló hasznos lehet a részletek mentésében a metaadatokba, így ugyanazokat az adatokat minden alkalommal újra felhasználhatja, anélkül, hogy minden alkalommal manuálisan beírná az adatokat. A metaadatokban fájlsémákat, adatbázis-kapcsolatokat, Hadoop-kapcsolatot, kaptárkapcsolatot, s3-kapcsolatot és még sok másot menthet.

A Talend Open Studio alkotóelemei

Az alábbiakban bemutatjuk a Talend Open Studio alábbi összetevőit

1. tFileList

  • Ez az összetevő felsorolja a megadott fájlmaszk mintával rendelkező könyvtárban vagy mappában lévő fájlokat.

2. tMysqlConnection

  • Ezt az összetevőt a mysql adatbázishoz való kapcsolódáshoz használják.
  • A Mysql-összetevők ezt a kapcsolatot használhatják az adatbázishoz történő kapcsolódás egyszerű beállításához.

3. tMysqlinput

  • Ez az összetevő elősegíti a mysql adatbázis lekérdezés futtatását és a táblázat vagy oszlopok beolvasását. Ez az összetevő a lekérdezések kiválasztására és a részletek beolvasására szolgál.

4. tMysqlOutput

  • Ez az összetevő az adatok beszúrására vagy frissítésére szolgál a Mysql adatbázisban.

5. tprejob

  • Ez az összetevő az első, amely végrehajtja a feladatot, és összekapcsolható más komponensekkel, ha a subjob ok rendben van.

6. tpostjob

  • Ez az összetevő utoljára hajtja végre a feladatot. Ezt összekapcsolhatja a kapcsolatra szoros összetevőkkel.

7. tlogcatcher

  • Ez az összetevő elkapja a figyelmeztetést és a hibákat a munkában.
  • A hibakezelési technikában használt legfontosabb alkotóelem.
  • A hibanaplókat ezen összetevő segítségével lehet írni, a tfileoutputdelimited mellett.
  • Több mint 800 alkatrész van.

Kontextusváltozó

  • A környezeti változók olyan változók, amelyek bárhol felhasználhatók a feladatban.
  • Értékeket tárol, és továbbadható egy másik feladatra is, trun összetevő használatával.
  • A kontextusváltozók felhasználása esetén megváltoztathatjuk az értéket különböző célokra.
  • Például rendelkezhetünk értékkészlettel a fejlesztési kontextuscsoporthoz és más, a termelési kontextusértékekkel.
  • Ilyen módon nem kell megváltoztatnunk a feladatot, csak elegendő a környezet paramétereinek megváltoztatása.

Munka felépítése

  • Munka felépítéséhez kattintson a jobb gombbal a feladatra, és válassza a Munka felépítése lehetőséget.
  • Az összeállítási feladatot a TAC-ban importálhatja.
  • A Talend Felügyeleti konzolban ütemeznie kell egy feladatot a feladatkészlet-függőség kiváltására is.
  • A feladatot a Nexus tárházból is el lehet importálni egy műtárgy segítségével.

Hozzon létre egy feladatot a TAC-ban

  • Nyitott munkavezető a TAC-ban
  • Kattintson az új feladatokra, és válassza ki a normál vagy tárgyi feladatokat.
  • Importálja a készített munkát, vagy válasszon a nexus közül.
  • Válassza ki a job szervert, amelyben a talend futni fog.
  • Mentse el a feladatot.
  • Most telepítheti és futtathatja a munkát.

Következtetés - Talend Open Studio

„Egyszerűsítse az ETL-t és az ELT-t a vezető ingyenes, nyílt forráskódú ETL-eszközzel a nagy adatok számára.” - a nyitott stúdió címkéje. A Talend Bigdata számos összetevővel rendelkezik a hatalmas adatok kezelésére. Normál, Bigdata, Bigdata streaming jobok a Talendben elérhető különféle típusú munkák. A Bigdata feladatok létrehozhatók egy szikra vagy térképkezelő keretben.

Ajánlott cikkek

Ez a Talend Open Studio útmutatója. Itt tárgyaljuk a Talend Open Studio előnyeit, alkalmazásait és összetevőit. Lehet, hogy megnézi a következő cikkeket is, ha többet szeretne megtudni -

  1. Útmutató a Talend adatintegrációhoz
  2. Fontos Talend interjúkérdések
  3. Talend vs Mulesoft: Különbségek
  4. Talend vs Pentaho: 8 hasznos összehasonlítás a tanuláshoz

Kategória:

Nagy adat