HBase építészet - Koncepció és alkatrészek - Jellemzők és előnyök

Tartalomjegyzék:

Anonim

Bevezetés a HBase architektúrába

A HBase egy nyílt forráskódú, elosztott kulcsértékű adattároló rendszer és oszlop-orientált adatbázis, magas írási kimenettel és alacsony késleltetésű véletlenszerű olvasási teljesítménygel. A HBase használatával online valós idejű elemzéseket végezhetünk. A HBase architektúra erős véletlenszerűen olvasható. A HBase-ben az adatok fizikailag szét vannak osztva úgynevezett régiókba. Minden régiót egyetlen régiószerver üzemeltet, és egy vagy több régió felelős az egyes régiókiszolgálókért. A HBase Architecture master-slave szerverekből áll. A HBase klaszternek van egy mestercsomópontja, HMaster néven, és több régiószerver, HRegion szerver (HRegion szerver) néven. Több régió van - régiók vannak minden egyes regionális kiszolgálón.

HDFS tároló mechanizmus

A HDFS esetén az adatokat a fenti táblázat tartalmazza a táblázatban.

Minden sorban van egy kulcs.

Oszlop: Olyan adatgyűjtemény, amely egy oszlopcsaládhoz tartozik, és szerepel a sorban.

Oszlopcsalád: Minden oszlopcsalád egy vagy több oszlopot tartalmaz.

Minden táblázat oszlopcsaládok gyűjteményét tartalmazza. Ezek az oszlopok nem képezik a séma részét.

A HBase dinamikus oszlopokkal rendelkezik. A különböző cellák eltérő oszlopokkal rendelkezhetnek, mivel az oszlopnevek a cellák belsejében vannak kódolva

Oszlopminősítő: Az oszlop neve oszlopminősítő néven ismert.

HBase Architecture Components

A HBase architektúrában vannak fő elemek: HMaster és Region Server. Regionális HBase adatmentés.

1. HMaster

A HMaster csomópont könnyű, és a régió hozzárendelésére szolgál a kiszolgáló régióhoz.

A Hmasternek vannak néhány fő feladata, amelyek a következők:

  • Néhány adminisztrációs feladat elvégzése, beleértve a betöltést, kiegyensúlyozást, az adatok létrehozását, frissítését, törlését stb.

Felelős a séma változásáért vagy a META-adatok módosításáért, az ügyfélalkalmazás irányának megfelelően

  • A HBase táblázatok sok DDL munkáját a HMaster kezeli.

Néhány módszer, amelyet a HMaster interfész felfed, főként a. META adat-orientált módszerek.

  • Táblázat (táblázat létrehozása, eltávolítása, engedélyezése, letiltása, eltávolítása)
  • ColumnFamily (oszlop hozzáadása, az oszlop módosítása)
  • Régió (mozgatás, hozzárendelés)

Az ügyfél kétirányúan kommunikál mind a HMasterrel, mind a ZooKeeper-rel. Közvetlenül kapcsolatba lép a HRegion szerverekkel az olvasási és írási műveletek elvégzéséhez. A HMaster a régió kiszolgálóit rendeli a régiókkal, és viszont ellenőrzi a regionális kiszolgálók állapotát.

2. Régiószerver

Az alábbiakban bemutatott diagram segítségével nagyszerű ötletet kaphatunk a régiószerverről.

A Régiókiszolgálók olyan munkacsomópontok, amelyek kezelik az ügyfelek olvasási, írási, frissítési és törlési kérelmeit. A Region Server könnyű, a Hadoop fürt összes csomópontján fut. A regionális kiszolgáló fő feladata az adatok mentése területekre és az ügyfelek kérésének végrehajtása. A HBase Region Server másik fontos feladata az Auto-Sharding módszer használata a terheléselosztás elvégzéséhez azáltal, hogy dinamikusan elosztja a HBase táblát, amikor az az adatok beszúrása után túl nagyra válik.

A HMaster több HRegion kiszolgálóval is kapcsolatba léphet, és a következő funkciókat hajthatja végre:

  • Irányítás és régiók fogadása
  • A régiók automatikus felosztása
  • Az olvasási és írási kérelmek kezelése
  • Közvetlen ügyfélkommunikáció

3. HDFS

A HDFS a Hadoop elosztott fájlrendszerét jelenti. Az összes fájlt több blokkban tárolja, és a Hadoop-fürtön keresztül replikálja a blokkokat a hibatolerancia fenntartása érdekében. A HDFS magas hibatűrést biztosít, és olcsó anyagokkal működik. Ha olcsó nyersanyag-hardvert használ a csomópontok hozzáadására a fürthez, majd feldolgozásához és mentéséhez, az ügyfeleknek jobb eredményeket fog elérni, mint a meglévő hardvereknél. A HDFS kapcsolatba lép a HBase alkotóelemeivel, és sok adatot elosztott módon ment.

4. Állatkertész

Az állatkertőr egy nyílt forrású projekt. A HMaster és a HRegionServers regisztrálja magát a ZooKeeper-en.
Különféle szolgáltatásokat nyújt, mint például a konfigurációs információk fenntartása, elnevezés, elosztott szinkronizálás biztosítása stb. Az elosztott szinkronizálás a csomópontok közötti koordinációs szolgáltatások nyújtásának folyamata a futó alkalmazások eléréséhez. Ideiglenes csomópontokkal rendelkezik, amelyek a regionális kiszolgálókat képviselik. A főkiszolgálók ezeket a csomópontokat használják az elérhető kiszolgálók keresésére.

Ezeket a csomópontokat a hálózati partíciók és a szerverhibák nyomon követésére is használják. Az állatkert az interaktív közeg a kliens régió szervere között. Ha egy ügyfél kommunikálni akar a regionális kiszolgálóval, akkor az állatkert a kommunikációs közeg közöttük.

Hogyan kezdeményezi a keresés a HBase architektúrában

Mint tudod, a META asztal helyét az állatkertőr menti. Amikor egy ügyfél felhívja a HBase kérését, vagy azt írja, az eljárás a következő.

Az ügyfél a ZooKeeperből megtudja, hogyan helyezheti el a META asztalokat. Az ügyfél ezután a megfelelő sorkulcsot kéri tőlük a META táblától, hogy elérje a regionális kiszolgáló helyét. A META asztal elhelyezkedésével az ügyfél tárolja ezeket az információkat. Az ügyfél csak akkor hivatkozhat rájuk a META táblára, amíg és ha a területet elmozdítják vagy eltolják. Ezután ismét a META szervert kell kérni, és a gyorsítótár frissítésre kerül. Mint mindig, az ügyfelek nem vesztegetnek időt a Region Server kiszolgáló helyének a META Serveren történő megkeresésén, így időt takarít meg és felgyorsítja a keresési folyamatot.

Jellemzők

A Hadoop segítségével könnyedén integrálható mind a forrásból, mind a rendeltetési helyből.

Az elosztott tároló, mint a HDFS, támogatott.

Véletlen hozzáférésű funkcióval rendelkezik, mivel egy belső hasítótáblát használ az adatok tárolására a HDFS fájlok gyorsabb keresése érdekében.

A HBase Architecture előnyei

  • Ezek nagy adatkészleteket tárolhatnak
  • Megoszthatjuk az adatbázist
  • Gigabájt és petatabájt költséghatékony
  • Magas rendelkezésre állás replikáció és meghibásodás révén

A HBase architektúra hátrányai

  • Az SQL felépítése nem támogatott
  • Nem támogatja a tranzakciót
  • Csak rendezett kulccsal
  • Klaszter memóriaproblémák

Következtetés

A HBase az Non-Sql oszlopközpontú elosztott adatbázisának egyike az apache-ban. Hadoop vagy Hive összehasonlításával a HBase jobban teljesít, ha kevesebb rekordot szerez be. Tehát ebben a cikkben megvitattuk a HBase architektúráját és annak fontos elemeit.

Ajánlott cikkek

Ez egy útmutató a HBase Architecture-hez. Itt tárgyaltuk a koncepciót, az alkotóelemeket, a szolgáltatásokat, az előnyöket és a hátrányokat. A további javasolt cikkeken keresztül további információkat is megtudhat -

  1. Mi a Big Data Technology?
  2. HDFS vs HBase melyik a jobb
  3. Mi az összeállítás nyelve?
  4. Bevezetés a HTML-be