Talend eszközök - A Talend különféle eszközei vagy alkotóelemei az adatintegrációhoz

Bevezetés a Talend eszközökhöz

A Talend nyitott stúdiója több mint 700 összetevővel rendelkezik olyan területeken, mint nagy adatok, adatbázisok, felhő, stb. A Talend nyitott stúdiója többekre osztható, például a Talend nyílt stúdiója az adatok integrációjára és a Talend nyílt stúdiója a nagy adatokra, stb. Ebben a cikkben részletesen meg fogja látni a különféle talend eszközöket.

Talend Open Studio összetevők / eszközök

A Talend Open Studio for Data Integration a következő területeket / technológiákat foglalja magában, beépített összetevőkkel, amelyek elősegítik a könnyű feldolgozást.

Big Data összetevők
Üzleti alkotóelemek
Üzleti intelligencia alkotóelemei
Felhő-összetevők
Custom Code komponensek
Adatminőség-összetevők
Adatbázisok - hagyományos összetevők
Adatbázisok - készülék / adattárház összetevői
Adatbázisok - egyéb összetevők
DotNET összetevők
ELT alkatrészek
ESB alkatrészek
Fájlösszetevők
Internet-összetevők
Naplók és hibák alkatrészek
Egyéb csoport összetevők
Zenekari komponensek
Komponensek feldolgozása
Rendszer összetevők
Talend MDM alkatrészek
Műszaki alkatrészek
XML komponensek

Itt a Talend Open Studio for Data Integration néhány elemét tárgyaljuk.

1. tS3Connection: Ezt az összetevőt az amazon s3 csatlakoztatására használják. Az alkatrészek ezt a kapcsolatot használhatják az amazon s3-hoz való csatlakozás egyszerű beállításához.

2. tS3Input: Ezt az fájlt az S3 fájlrendszerből való olvasáshoz használják. Néhány funkcióval rendelkezik, mint a tfileinputdelimited, de az Amazon Simple Storage szolgáltatást használja.

3. tS3Output: Ezt az adatot S3 fájlrendszerbe írják. Néhány funkcióval rendelkezik, mint a tfileoutputdelimited, de az Amazon Simple Storage szolgáltatást használja.

4. ts3Put: A fájlt egy helyi rendszerből egy S3 fájlrendszerbe helyezi .

5. ts3Get: Ezt az összetevőt arra használják, hogy egy fájlt az S3-ból egy helyi rendszerbe hozzanak.

6. tS3BucketCreate: Ezt az összetevőt egy vödör létrehozására használják az S3-on.

7. tS3BucketDelete: Ezt az összetevőt az S3 vödörének törlésére használják.

8. tS3BucketExist: Ezt az összetevőt annak ellenőrzésére használják, hogy az adott vödör létezik-e az S3-on. Az eredményt valódi vagy hamis logikai értékben adja vissza, amely globális térképként használható.

9. tS3BucketList: Ezt az összetevőt az S3 összes vödörének felsorolására használják.

10. tS3Copy: Ezt az összetevőt az S3 objektum másolásához egy vödörből egy másik vödörbe használják. Hasonló a tFileCopy-hoz.

11. tS3Delete: Ezt az összetevőt az S3 objektum törléséhez használják. Hasonló a tFileDelete-hez.

12. tS3Close: Ezt az összetevőt az S3 kapcsolat lezárására használják, amelyet a tS3Connection segítségével hoztak létre.

13. tCreateTemporaryFile: Ez az összetevő ideiglenes fájlt hoz létre, például a tFileOutputDelimited, de ezt az ideiglenes fájlt automatikusan törölheti a munka befejezése után, vagy meg lehet őrizni.

14. tFileArchive: Ezt az összetevőt tömörített fájl létrehozására használják egy vagy több fájlból. A titkosítás tömörítésben is alkalmazható.

15. tFileCompare: Ez az összetevő két fájl összehasonlítására szolgál, és visszaadja az összehasonlító adatokat.

16. tFileUnarchive: Ezt az összetevőt egy ZIP-fájl tömörítésére használják.

17. tFileCopy: Ezt az összetevőt fájl vagy mappa célkönyvtárba másolására használják.

18. tFileDelete: Ezt az összetevőt egy fájl vagy mappa törlésére használják.

19. tFileExist: Ezt az összetevőt annak ellenőrzésére használják, hogy létezik-e fájl. Az eredményt valódi vagy hamis logikai értékben adja vissza, amely használható globalMap néven.

20. tFileInputExcel: Ezt az összetevőt az Excel fájl olvasására használják a meghatározott séma alapján.

21. tMsgBox: Ezt az összetevőt egy párbeszédpanel megjelenítésére használjuk, az OK gombbal.

22. tRowGenerator: Ezt az összetevőt tetszőleges számú sor létrehozására használják, oszlopokkal, amelyeknek konkrét vagy véletlenszerű értékeik vannak. Leginkább tesztelési célokra és minta teszt fájlok létrehozására használják.

23. tIterateToFlow: Az áramlások listájának a főáramba történő átalakítására szolgál, amely iterálást -> sort-> főt jelent.

24. tFlowToIterate: A főáramot átalakítja az áramlások listájává, amely azt jelenti, hogy a fő-> sor-> iterálódnak.

25. tLoop: Egy adott feladat hurkolására szolgál.

26. tReplicate: A bejövő séma két kimeneti áramlásra replikálására szolgál.

27. tRunJob: Egy másik talend feladat futtatására szolgál az aktuális jobban, az aljob után.

28. tSleep: arra szolgál, hogy a feladat végrehajtását vagy egy adott al-feladat szünetet egy adott ideig másodpercben megadja.

29. tWaitForFile: Megvizsgál egy adott könyvtárat, és feltétel alapján indítja el a következő komponenst.

30.tMysqlBulkExec: Ezt az összetevőt arra használják, hogy teljesítmény-növekedést kínáljon, miközben a beszúrási műveleteket végrehajtja a Mysql adatbázisban.

31. tMysqlClose: Ez az összetevő a tMysqlConnection által létrehozott mysql kapcsolat lezárására szolgál.

32. tMysqlRow: Ez az összetevő az SQL lekérdezés közvetlen futtatásához használható a MySQL adatbázisban.

33. tMysqlTableList: Ezt az összetevőt a táblák neveinek felsorolására használják.

34. tMysqlColumnList: Ezt az összetevőt a táblázat összes oszlopának iterálására használják.

35. tMysqlCommit: Ezt az összetevőt használják a Mysql adatbázisban végrehajtott változtatások végrehajtására.

36. tMysqlLastInsertId: Ez az összetevő az utoljára behelyezett kulcsérték beolvasására szolgál

37. tMysqlOutputBulk: Ezt az összetevőt oszlopokkal rendelkező fájl írására használják a határoló alapján

38. tMysqlOutputBulkExec: Ezt az összetevőt arra használják, hogy fájlokat írjanak az elválasztó alapú oszlopokkal, majd végrehajtják a fájlt a Mysql adatbázisban.

39. tContextLoad: Ezt az összetevőt az értékek kontextusba töltésére használják egy bemeneti folyamatból. A kontextusváltozókat el kell készíteni, mielőtt az értékeket kontextusváltozókba betölti. Ha a kontextusváltozókat nem hozzák létre, akkor figyelmeztetés jelenik meg.

40. tHiveClose: Ezt az összetevőt a tHiveConnection segítségével létrehozott kapcsolat bezárására használják.

41. tHiveConnection: Ezt az összetevőt kaptárkapcsolat létrehozására használják, és más kaptárkomponensek is felhasználhatják azt.

42. tHiveRow: Ez a komponens a Hive lekérdezések közvetlen futtatásához használható.

Következtetés

A HDFS komponensek a Talend nyílt stúdiójában láthatók.
A thdfsinput, a thdfsoutput néhány elem, és hasonlóak a fájlkomponensekhez.
tHDFSInput - Az adott Hadoop elosztott fájlrendszeren (HDFS) található fájlt beolvassa. Néhány funkcióval rendelkezik, mint a tfileinputdelimited, de Hadoop elosztott fájlrendszert használ.
tHDFSOutput - fájlt ír a Hadoop elosztott fájlrendszerébe (HDFS).
Néhány funkcióval rendelkezik, mint a tfileoutputdelimited, de Hadoop elosztott fájlrendszert használ.
tHDFSPut - Ezt a fájlt egy helyi rendszerből a HDFS fájlrendszerbe helyezzük.
tHDFSGet - Ez az összetevő fájlt töltött le a HDFS-ből egy helyi rendszerbe.

Ajánlott cikkek

Ez egy útmutató a Talend Tools-hoz. Itt tárgyaljuk a bevezetést és az adatintegráció nyílt stúdió-összetevőinek vagy eszközeinek az összeillesztését, amelyek magukban foglalják a tS3Connection, tS3Input, tS3Output és a ts3Put stb. További tudnivalókat a következő cikkekre tekinthetünk meg -