Diskriminácia minibatchov

1. Čo je diskriminácia Minibatch?
2. Ako zabránite kolapsu režimov GAN?
3. Ako môžem zlepšiť svoj tréning GAN?
4. Prečo je GAN nestabilná?

Čo je diskriminácia Minibatch?

Minibatch Diskriminácia je diskriminačná technika pre generatívne kontradiktórne siete, kde rozlišujeme skôr medzi celými minibárkami vzoriek než medzi jednotlivými vzorkami. Toto má zabrániť kolapsu generátora.

Ako zabránite kolapsu režimov GAN?

Starostlivo vyladená rýchlosť učenia môže zmierniť niektoré vážne problémy GAN, ako je kolaps režimu. Konkrétne znížte rýchlosť učenia a zopakujte tréning, keď dôjde ku kolapsu režimu. Môžeme tiež experimentovať s rôznymi rýchlosťami učenia pre generátor a diskriminátor.

Ako môžem zlepšiť svoj tréning GAN?

Ďalšie tipy a triky

1. Zhoda funkcií. Rozvoj GAN pomocou semi-supervízneho vzdelávania.
2. Diskriminácia minibatchov. Vyvíjajte funkcie vo viacerých ukážkach v minibarke.
3. Historické spriemerovanie. Aktualizujte funkciu straty tak, aby zahŕňala históriu.
4. Jednostranné vyhladzovanie štítkov. ...
5. Normalizácia virtuálnej dávky.

Prečo je GAN nestabilná?

Skutočnosť, že siete GAN sú tvorené dvoma sieťami a každá z nich má svoju stratovú funkciu, má za následok, že siete GAN sú vo svojej podstate nestabilné- ponoria sa trochu hlbšie do problému, strata generátora (G) môže viesť k nestabilite siete GAN , čo môže byť príčinou problému s miznutím gradientu, keď ...