Bevezetés a Sqoop parancsokba
A Sqoop parancsokban minden sort rekordként kezelnek, és a feladatokat a Map Task belsőleg felosztja részfeladatokra. Az sqoop által támogatott adatbázisok a MYSQL, Oracle, IBM, PostgreSQL. Az Sqoop egyszerű parancssort nyújt, az egyes adatbázisokból adatokat tudunk beolvasni az sqoop parancsok segítségével. Java nyelven vannak írva, és a JDBC használatával kapcsolódnak más adatbázisokhoz.
Ez az „SQL to Hadoop” és a Hadoop to SQL, valamint egy nyílt forráskódú eszköz. Ez egy alkalmazás-com összeköttetési eszköz, amely tömeges adatokat továbbít a relációs adatbázis-rendszer és a Hadoop között (Hive, map samaz, Mahout, Pig, HBase). Lehetővé teszik a felhasználók számára, hogy meghatározzák a célhelyet a Hadoopban, és lehetővé teszik az sqoop számára, hogy az adatokat az RDMS-ből a célba mozgatja. Optimalizált MySQL-összekötőket biztosítanak, amelyek adatbázis-specifikus API-kat használnak a tömeges átvitel teljes végrehajtásához. A felhasználó adatokat importál külső forrásokból, például Hive vagy Hbase. Az sqoop-nak két fájlformátuma van: elválasztott szöveges fájlformátum és sorozatfájl-formátum.
Itt találhatók az Sqoop parancsok alapvető parancsai:
-
Listatábla:
Ez a parancs felsorolja az MYSQL szerver adatbázisának adott tábláját.
Példa:
-
Célkönyvtár:
Ez a parancs-importálási táblázat egy adott könyvtárban a HDFS-ben. -m a mapper argumentumot jelöli. Egész számú értékük van.
Példa:
-
Jelszó védelem:
Példa:
-
Apache Sqoop-eval:
Ez a parancs gyorsan futtatja az adott adatbázis SQL lekérdezéseit.
Példa:
-
sqoop - verzió:
Ez a parancs az sqoop verzióját jeleníti meg.
Példa:
-
Apache Sqoop-job
Ez a parancs lehetővé teszi munka létrehozását, a létrehozott paraméterek bármikor meghívhatók. Olyan lehetőségeket választanak, mint (–létrehozás, – törlés, –megjelenítés, –kijelzés).
Példa:
-
CSV-fájl betöltése az SQL-be:
Példa:
-
Csatlakozó:
Példa:
-
kód gen:
Ez az Sqoop parancs olyan java osztályfájlokat hoz létre, amelyek beillesztik az importált rekordokat. Az összes java fájl létrehozásra kerül, és egy osztály új verziói jönnek létre. Kódot generálnak, hogy kölcsönhatásba lépjenek az adatbázisrekordokkal. Beolvassa az összes oszlop és adattípusainak listáját.
Példa:
10.List-adatbázis:
Ez a Sqoop parancslista tartalmazza az összes rendelkezésre álló adatbázist az RDBMS kiszolgálón.
példa:
A Sqoop parancsok közbenső parancsai:
1.sqoop -meta üzlet:
Ez a parancs egy megosztott metaadat-lerakatot tárol. Több / távoli felhasználó több feladatot futtathat.
Parancs:
$ sqoop .metastore.client.autoconnect.url
példa: jdbc: hsqldb: hsql: // metastore .example.com / sqoop
2. sqoop -help:
Ez a parancs felsorolja az sqoop-ban elérhető eszközöket és céljaikat.
Parancs:
$ sqoop help
$ bin / sqoop importálás
3. Exportálás:
Ez a parancs adatokat exportál a HDFS-ből az RDMS adatbázisba. A HDFS-ben az adatokat rekordként tárolják.
Parancs:
$ sqoop export \ –kapcsolat jdbc: mysql: // localhost / leltár - felhasználónév jony –table lib –export -dir / user / jony / leltár.
4. Helyezze be:
Ez a parancs új rekordot illeszt be a HDFS-ből az RDBMS táblába.
Parancs
$ sqoop export - csatlakoztassa a JDBC-t: MySQL: // localhost / sqoop_export - táblázat emp_exported –export -dir / sqoop / newemp -m -000
5. Frissítés:
Ez az Sqoop parancs frissíti az RDBMS rekordjait a HDFS adatokból.
Parancs
$ sqoop export - csatlakoztassa a JDBC-t: MySQL: // localhost / sqoop_export - tábla emp_exportált –export -dir / sqoop / newemp -m -000 –frissítés –kulcs azonosító
6. Kötegelt opció:
Ez a parancs több sort illeszt be egymással, optimalizálva a beszúrási sebességet a Sqoop JDBC illesztőprogram használatával.
Parancs
$ sqoop export \ -csatlakozás JDBC: MySQL: // gazdagépnév / –felhasználónév-jelszó -export -dir
7. Osztott:
Ennek a parancsnak a használatakor a záradékot alkalmazzák az egész SQL-re.
Parancs
$ sqoop import -D mysql: // jdbc: // where.clause.location = SPLIT - tábla JUNK - ahol “rownum <= 12”
8. AVRO fájl HDFS-be:
Az RDBMS adatokat Avro fájlként tárolják.
Parancs
$ sqoop import - csatlakoztassa a JDBC-t: MySQL: // localhost / Acadgild - felhasználónév gyökér - jelszó 34. oldal - táblázatfizetés -m1 - cél -cím / sqoop_data / fizetés / avro / == as -avrodatfile.
Az Sqoop parancsok fejlett parancsai:
Parancsok importálása:
Az import parancsok importálási vezérlő argumentumokat tartalmaznak. a különféle érvek a következők:
- határ: hasítások létrehozására szolgál.
- as - text file: sima szöveges adatok importálása
- -oszlopok (: táblázat oszlopok importálása
- -m, - num: párhuzamos leképezési feladatok importálása
- split-by: Osztott oszlop a táblázatban
- -z, - tömörítés: az adatok tömörítése engedélyezve van.
Növekvő import érvek:
- ellenőrző oszlop: Oszlopokat jelöl az importálandó sorok meghatározására.
- növekményes (mód): új sorokat jelöl (tartalmazza a függeléket és az utoljára módosítja a sorokat)
Kimeneti vonal érvei:
- sorok által végződött -by: Az eol karaktert állítják be
- MySQL - elválasztók: \ n mezőket állítanak be: sorok:
Importálás a kaptárba
- kaptár - import: Táblákat importálnak a kaptárba
-hive - partition-key: A partíció neve megosztott.
-tartás - felülírás: felülírják a meglévő táblázat adatait.
Importálás a Hbase-ba Érvek:
-accumulo-table: Ez határozza meg a céltáblát a HBase-ben.
-accumulo-oszlop: Az importáláshoz beállítja a cél oszlopot.
-accumulo -: A akumulátum neve behozatala
–Accumulo -: A uzkrā jelszó importálása
Tárolás szekvencia fájlokban:
$ sqoop import -connect jdbc: mysql: //db.foo.com/emp -table leltár \ - osztálynév com.foo.com.Készlet -as - secfile
Lekérdezés importálása:
Ez a parancs az Sql utasítást adja meg a -query argumentummal.
$ sqoop import \ –kérdezés 'VÁLASSZA a. *, b. * -T egy JOIN b-ről (a.id = b.id), ahol a $ feltételeket' \ -split - by / target-dir / user
Növekvő export:
$ sqoop export –kapcsolat –tábla –felhasználónév – jelszó –kiegészítő –ellenőrző sor –értékes érték
Az összes tábla importálása a HDFS-be:
$ sqoop import -all - táblák - csatlakoztassa jdbc: mysql: // localhost / sale_db - felhasználónév gyökér.
Adatok importálása a kaptárba:
$ sqoop import –kapcsolat – tábla –felhasználónév – jelszó – kaptár –import - kaptár -asztal
Adatok importálása a HBase-ba:
parancs:
$ sqoop import –kapcsolat –tábla –felhasználónév – jelszó –kaptár -import - HBase -table
Null értékek kódolása:
parancs:
$ mysql import \ - csatlakoztassa a JDBC-t: MySQL: //mysql.ex.com/sqoop \ --felhasználónév sqoop \ - jelszó sqoop \ - táblázat lib \ –null-karakterlánc '
Tippek és trükkök az Sqoop parancsok használatához:
Ha az adatműveleteket hatékonyan akarjuk végrehajtani, akkor az sqoop-ot kell használni, csak egyetlen parancssoron keresztül számos feladatot és részfeladatot tudunk végrehajtani. Az Sqoop csatlakozókkal kapcsolódik a különböző relációs adatbázisokhoz, és a JDBC illesztőprogramot használják az interakcióhoz. Mivel az sqoop a saját forrásán fut, az sqoop telepítési folyamat nélkül is végrehajtható. Az sqoop végrehajtása egyszerű, mivel az adatokat párhuzamosan hajtják végre. A Map redukcióval adatokat importálhatunk és exportálhatunk, ami viszont párhuzamos végrehajtást biztosít.
Következtetés - Sqoop parancsok:
Összegezve: a Sqoop Commands szabályozza az adatok importálásának és exportálásának folyamatát. Az Sqoop lehetővé teszi a táblázat egyes részeinek frissítését a növekményes terhelés alapján. Az sqoop-ban lévő adatok importálása nem eseményvezérelt. És ott jön az sqoop2 engedélyezte GUI-jával a könnyű hozzáférés és a parancssor. Az adatátvitel gyors, mivel párhuzamosan továbbítódnak. Alapvető szerepet játszanak a Hadoop környezetben. Kisebb adatkészletek importálásakor önállóan végzik el a munkájukat.
Ajánlott cikkek
Ez egy útmutató a Sqoop parancsokhoz. Itt tárgyaltuk az alapvető, valamint a fejlett Sqoop parancsokat és néhány azonnali Sqoop parancsot. A következő cikkben további információkat is megnézhet -
- Sqoop interjúkérdések és válaszok
- SQL cheat sheet (parancsok, ingyenes tippek és trükkök)
- Fontos VBA parancsok
- Tableau parancsok