Bevezetés a Kafka Tools-ba
A Kafka Tools különféle eszközök gyűjteménye, amelyek segítségével kezelhetjük a Kafka klaszterünket. Az eszközök többnyire parancssori alapúak, de UI-alapú eszközök szintén rendelkezésre állnak, amelyek letölthetők és telepíthetők.
A Kafka eszközöket különféle műveletek végrehajtására használhatjuk, például:
- Sorolja fel a rendelkezésre álló Kafka-klasztereket és azok brókereit, a témákat és a fogyasztókat.
- Ki tudja nyomtatni a normál kimenetben található témák üzeneteit. Az UI-alapú eszközök biztosan jobb olvashatóságot nyújtanak.
- Adjon hozzá és dobjon el témákat a brókerekből.
- Új üzenetek hozzáadása a partíciókhoz.
- Tekintse meg a fogyasztóink összes ellensúlyát.
- Hozzon létre partíciókat a témáinkból.
- Sorolja fel az összes fogyasztói csoportot, írja le a fogyasztói csoportokat, törölje a fogyasztói csoportokra vonatkozó információkat, és alaphelyzetbe állítsa a fogyasztói csoport elleni eltéréseket.
Ha felhasználói felület alapú eszközt akarunk használni, akkor használhatjuk a Kafka eszközt, amely letölthető a következő weboldalról:
http://www.kafkatool.com/download.html
Ez az alkalmazás ingyenesen elérhető személyes használatra, de kereskedelmi célú licencet kell vásárolnunk. Jó dolog az, hogy rendelkezésre áll Mac, Windows és Linux rendszerekhez.
A Kafka 3 legfontosabb típusa
A Kafka eszközöket Rendszereszközök és Alkalmazási eszközök kategóriába sorolják.
1. Rendszer eszközök
A Rendszereszközök a következő szintaxissal futtathatók.
Szintaxis:
bin/kafka-run-class.sh package.class - - options
A Rendszereszközök némelyike a következő:
- Kafka Migration Tool: Ez az eszköz a Kafka Broker egyik verzióról a másikra történő migrálására szolgál.
- Fogyasztói eltolás ellenőrző: Ez az eszköz megjelenítheti a meghatározott témakörök Fogyasztói csoportját, Témáját, Partícióit, Off-set, logSize, Tulajdonosát és a Fogyasztói csoportot.
- Tükörkészítő: Ezt az eszközt az egyik Kafka-klaszter másikra való tükrözésére használják.
2. Replikációs eszközök
Ezek alapvetően magas színvonalú tervezőeszközök, amelyek a tartósság és a rendelkezésre állás érdekében készültek.
Néhány replikációs eszköz a következő:
- Téma létrehozása eszköz: Ezt az eszközt az alapértelmezett partíciószámú és replikációs tényezővel rendelkező témák létrehozására használják.
- Téma felsorolás eszköz: Ezt használják az adott témakör-lista információinak felsorolására. Az a nagyszerű, hogy ez az eszköz az, hogy ha még nem érhető el téma a parancssorban, akkor megkérdezi az állatkertésztőt, hogy először töltse le a témák listáját, majd kinyomtassa a rájuk vonatkozó információkat. Különböző területeket sorol fel, például a téma neve, partíciók, vezető, replikák stb.
- Partíciós eszköz hozzáadása: Ezt az eszközt partíciók hozzáadására használják egy témához, amelyre szükség van a témában az adatmennyiség növekedésének kezeléséhez. De vegye figyelembe, hogy a téma létrehozásakor meg kell határoznunk a partíciókat. Ez az eszköz lehetővé teszi, hogy manuális replikákat adjunk a hozzáadott partíciókhoz.
3. Egyéb szerszámok
Most tárgyaljuk néhány egyéb eszközt:
a. Kafka-témák eszköz
Ez az eszköz a témák létrehozására, felsorolására, módosítására és leírására szolgál.
Példa: Téma létrehozása: bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic topic_name --partitions 30 --replication-factor 3 --config x=y
b. Kafka-konzol-fogyasztói eszköz
Ez az eszköz felhasználható a Kafka-témákból származó adatok olvasására és a normál kimenetre írására
Példa: bin/kafka-console-consumer --zookeeper zk01.example.com:8080 --topic topic_name>/code>
c. Kafka-konzol-gyártó eszköz
Ez az eszköz felhasználható adatok írására egy Kafka-témához a standard kimenetből.
Példa: bin/kafka-console-producer --broker-list kafka03.example.com:9091 --topic topic_name
d. Kafka-fogyasztói csoportok eszköz
Ez az eszköz felhasználható az összes fogyasztói csoport felsorolására, egy fogyasztói csoport leírására, a fogyasztói csoportra vonatkozó információk törlésére vagy a fogyasztói csoportok közötti eltolások visszaállítására. Ezt az eszközt elsősorban a fogyasztói csoportok leírására és a fogyasztói ellensúlyozással kapcsolatos kérdések hibakeresésére használják.
Példa: Az bin/kafka-consumer-groups --new-consumer --bootstrap-server broker01.example.com:9092 --describe --group group_name megtekintése egy nem biztonságos fürtön: bin/kafka-consumer-groups --new-consumer --bootstrap-server broker01.example.com:9092 --describe --group group_name
Kafka építészet
A Kafka Tools különféle alkotóelemei
A Kafka fő alkotóelemei a következők:
1. Bróker
A Kafka-klaszter minden csomópontja bróker, amely tárolja az adatokat. Általában több bróker működik a rakomány megfelelő kiegyensúlyozása érdekében. A bróker üzeneteket tárol olyan témák formájában, amelyekhez a gyártók (íráshoz) és a fogyasztók (az olvasáshoz) férhetnek hozzá. A témákat úgy hozzák létre, hogy elkülönítsék az egyik alkalmazás adatait a másiktól. Mivel a brókerek hontalanok, szükségük van az állatkertész segítségére a klaszter állapotának fenntartásához. Egy bróker képes kezelni az üzenetek TB-jét anélkül, hogy a teljesítmény befolyásolná. A Kafka brókervezető választását az állatkertész végzi.
2. Termelő
Az egység küldi az üzeneteket a brókereknek. Több gyártó is előállíthat adatokat nagyon nagy sebességgel és egymástól függetlenül. A termelők nem kapnak visszaigazolást a brókerektől, és olyan sebességgel küldik el az adatokat, amelyet a brókerek kezelhetnek. Képesek brókereket keresni és üzeneteket küldeni, amint a brókerek elindulnak. A termelő felelõs annak kiválasztásáért, hogy melyik üzenetet rendelje hozzá a témán belüli partícióhoz. Ezt körkörös módon lehet megtenni, egyszerűen a terhelés kiegyensúlyozása érdekében, vagy meg lehet tenni valamilyen szemantikai partíció függvény szerint (mondjuk, az üzenet valamely kulcsának alapján).
3. Állatkertész
Ez az egység kezeli és koordinálja a brókereket. Az állatkertész értesíti a termelőt vagy a fogyasztót bróker hozzáadásáról vagy kudarcáról. Minden bróker szívverési kérelmet küld rendszeres időközönként az állatkertésznek, amíg életben van. Az állatkertvezető információkat is tart a témákról és a fogyasztói ellentételekről.
4. Fogyasztó
Ez az egység olvassa el a témák üzeneteit. A fogyasztó több témáról is feliratkozhat és olvashat. A Fogyasztó párhuzamosan működhet más fogyasztókkal (ebben az esetben minden partíciót csak egy fogyasztó fog olvasni), és így a Fogyasztói csoportot alkotja. Nem működik szinkronban a termelőkkel. A Fogyasztónak partíciós eltolás használatával meg kell őriznie, hogy hány üzenetet olvasott. Ha a fogyasztó elfogad egy adott partíció-eltolást, akkor azt jelenti, hogy a partícióban már felhasználta az előző üzeneteket.
Következtetés
Ebben a cikkben megtanultuk, hogyan lehet különféle Kafka eszközöket használni a Kafka-fürt hatékony kezeléséhez. Megtudtuk a Kafka-ökoszisztéma különféle alkotóelemeiről és azok kölcsönhatás-képességéről is.
Ajánlott cikkek
Ez egy útmutató a Kafka eszközökhöz. Itt a Kafka eszközök típusait, a Kafka különféle alkotóelemeit, valamint a Kafka építészetét tárgyaljuk. A következő cikkben további információkat is megnézhet -
- A legnépszerűbb Kafka alkalmazások
- A Big Data Architecture magyarázata
- A legjobb adattudományi eszközök
- Különbségek a Kafka és a Spark között