A hiperparametrikus gépi tanulás áttekintése
Bármely modellhez szükségünk van bizonyos paraméterekre, amelyek segítenek alapot nyújtani a probléma megoldásához / elemzéséhez és a modell kiértékeléséhez. Ezeknek a paramétereknek egy részét az adatokból kell megtanulni, másoknak a végünket kifejezetten meg kell határoznunk. Azokat az paramétereket, amelyeket az adatokból meg lehet tanulni kifejezetten meghatározás nélkül, modellparamétereknek nevezzük. A felhasználó által kifejezetten meghatározott paramétert hiperparamétereknek hívják. A hiperparaméterek szintén csak a modell paraméterei, de a hiperparaméterek kifejezést a gépi tanulásban használják, így könnyen megkülönböztethetők és nem téveszthetők össze az adatkészletből megtanult modellparaméterekkel.
Mi a hiperparaméter gépi tanulás?
A gépi tanulás kereteinek nagy részében a hiperparamétereknek nincs szigorú meghatározása. Ezek a hiperparaméterek szabályozzák a modell mögöttes rendszerét, amely irányítja a modell elsődleges (modális) paramétereit. Próbáljuk megérteni a hiperparamétereket a következő példával.
- A hegedű hangolása nagyon fontos, ha az ember a tanulási szakaszban van, mert abban az időben kapcsolatot létesít a különféle érzékszervek között. A fülek, az ujjak és a szemek egyszerre tanulnak hegedűt. Most az elején, hogy megszoktam a hegedű hangját, a hangzás rossz ízét idézi elő, ami rontja az emberek teljes tapasztalatát, hogy beleszerettek a hegedű tanulási folyamatába.
- Ez az, amiért a hegedű hangolása valóban segítséget nyújthat a hegedű megtanulásának folyamatában. Ugyanígy, a hiperparaméter egyfajta hangolás a Machine Learning modellhez, hogy a helyes irányt adjanak.
- A hiperparamétereket általában meghatározzák, mielőtt gépi tanulási algoritmust alkalmaznának egy adatkészletre.
- Most következő feladat az, hogy mi legyen a hiperparaméter, és mi legyen az értéke. Mert tudnia kell, hogy milyen hangszerekre van szükség a hangoláshoz, és hogyan kell hangolni a hegedűt, mielőtt hangolná. Ugyanez vonatkozik a hiperparaméterekre is, meg kell határoznunk, hogy milyen hiperparamétereket és milyen értékűnek kell lennie, alapvetően az egyes feladatoktól és minden adatkészlettől függ.
- Ennek megértéséhez nézzük meg a modell optimalizálásának perspektíváját.
- A gépi tanulási modell megvalósításában alapvető szerepet játszik a modell optimalizálása. Számos olyan gépi tanulási ágazat létezik, amelyek kizárólag a gépi tanulási modell optimalizálására készültek. Általános vélemény, hogy a modell optimalizálása érdekében módosítani kell a kódot, hogy a hiba minimalizálható legyen.
- Vannak olyan rejtett elemek, amelyek befolyásolják a gépi tanulás optimalizálását, amely kívül esik a modellben, és nagy hatással van a modell viselkedésére. Ezeket a rejtett elemeket hiperparamétereknek nevezik, ezek kritikus összetevők bármely gépi tanulási modell optimalizálásához.
- A hiperparaméterek finomhangolók / beállítások, amelyek szabályozzák a modell viselkedését. Ezeket a hiperparamétereket a modellen kívül határozzák meg, de közvetlen kapcsolatban vannak a modell teljesítményével. A hiperparamétereket a modellre merőlegesnek tekinthetjük.
- A hiperparaméter meghatározásának kritériumai nagyon rugalmasak és elvontak. Bizonyára vannak olyan hiperparaméterek, mint például a rejtett rétegek száma, a modell tanulási sebessége, amelyek jól megalapozottak, és vannak olyan beállítások, amelyeket egy adott modell hiperparamétereként lehet kezelni, például a modell kapacitásának ellenőrzése.
- Ha az algoritmusok közvetlenül a beállításokon keresztül tanulnak, akkor az algoritmus túlterhelhet egy modellt. Mivel egyértelmű, hogy a hiperparamétereket nem tanulják meg és nem hangolják be az edzéskészlet segítségével, ezért a hiperparaméterek kiválasztásához teszt vagy validációs készletet használnak. A Broadway-ben különböző hiperparaméterek értékeit állítottuk be, a legjobb hiperparaméternek azt tekintjük, amelyik a legjobban működik egy teszt vagy validációs halmaznál.
A hiperparaméter kategóriái
Különböző típusú adatkészletekhez és a modell szerint különböző hiperparaméterekkel is rendelkezhetünk a modell teljesítményének fokozása érdekében. Általában véve a hiperparamétereket két kategóriába lehet sorolni.
- Hiperparaméter az optimalizáláshoz
- Hiperparaméterek meghatározott modellekhez
Beszéljük meg ezek mindegyikét.
1. Hiperparaméterek az optimalizáláshoz
Ahogy a neve is sugallja, ezeket a hiperparamétereket használják a modell optimalizálására.
- Tanulási arány
Ez a hiperparaméter meghatározza, hogy az újonnan megszerzett adatok felülbírálják-e a rendelkezésre álló régi adatokat. Ha ennek a hiperparaméternek az értéke magas, annál magasabb a tanulási arány, nem optimalizálja a modellt megfelelően, mivel vannak esélyek, hogy a minimumok felett ugrik. Másrészt, ha a tanulási arányt nagyon kevésbé veszik fel, akkor a konvergencia nagyon lassú lesz.
A tanulási arány döntő szerepet játszik a modell teljesítményének optimalizálásában, mivel egyes esetekben a modellek százai (modellparaméterek) tartalmaznak hibagörbét, a tanulási arány határozza meg az összes paraméterrel történő keresztellenőrzés gyakoriságát. Ezenkívül nehéz megtalálni a hiba görbék helyi minimumát, mivel ezek általában szabálytalan görbékkel rendelkeznek.
- Csomó méret
A tanulási folyamat felgyorsítása érdekében a képzési készletet különféle részekre osztják. A modell edzésével járó sztochasztikus eljárás esetén egy kis tételt képzünk, kiértékelünk és újraprogramozunk annak érdekében, hogy az összes hiperparaméter értékeit beállítsuk, ezt megismételjük az egész edzéskészletnél.
Ha a kötegek mérete nagyobb, akkor növeli a tanulási időt, és több memóriát igényel a mátrix szorzásához. Ha a tétel mérete kisebb, akkor a zavar számításakor több zaj lesz.
- Korszakok száma
Az Epoch egy teljes ciklust képvisel, amelyet az adatok elsajátításához a gépi tanulás során kell használni. A korszakok nagyon fontos szerepet játszanak az iteratív tanulási folyamatban.
A validációs hibát vesszük figyelembe a megfelelő korszak számának meghatározásakor. Növelhetjük a korszakok számát, mindaddig, amíg az érvényesítési hiba csökken. Ha az érvényesítési hiba nem javul egymást követő korszakokban, akkor ez egy jel a növekvő korszakok számának megállításához. Korai megállásnak is nevezik.
2. Különleges modellek hiperparaméterei
Néhány hiperparaméter magában foglalja a modell szerkezetét. Néhány ezek a következők.
- Rejtett egységek száma
Alapvető fontosságú az ideghálózatok rejtett egységeinek meghatározása a mély tanulási modellekben. Ez a hiperparaméter a modell tanulási képességének meghatározására szolgál. a komplex funkciókhoz számos rejtett egységet meg kell határoznunk, de ne feledje, hogy az nem szabad túlzottan illeszteni a modellt.
- Rétegek száma
Nyilvánvaló, hogy egy 3 rétegű neurális hálózat jobb teljesítményt nyújt, mint a 2 réteg. A 3-nál több növekedés nem segíti annyira a neurális hálózatokat. A CNN esetében egyre több réteg teszi a modellt jobbá.
Következtetés
A hiperparamétereket kifejezetten meghatározzuk, mielőtt gépi tanulási algoritmust alkalmaznánk az adatkészletre. A hiperparaméterek segítségével meghatározható a modell magasabb szintű összetettsége és a tanulási képesség. A hiperparaméterek a modell beállításai is lehetnek. Néhány hiperparamétert meghatároztak a modellek optimalizálására (kötegek mérete, tanulási sebesség stb.), Mások pedig a modellekre vonatkoznak (rejtett rétegek száma stb.).
Ajánlott cikkek
Ez egy útmutató a hiperparametrikus gépi tanuláshoz. Itt tárgyaljuk az áttekintést és mi a hiperparametrikus gépi tanulás annak kategóriáival. A következő cikkeket is megnézheti további információkért -
- Bevezetés a gépi tanulásba
- Nem felügyelt gépi tanulás
- Gépi tanulási algoritmusok típusai
- Gépi tanulás alkalmazásai
- Neurális hálózatok megvalósítása
- A 6 legfontosabb összehasonlítás a CNN és az RNN között