Deep Learning for Image/Video Restoration and Super-resolution
Ebben a monográfiában áttekintést adunk a legújabb fejlesztésekről és a kép/videó helyreállítás és a szuperfelbontás (SR) mélytanulással történő felhasználásának jelenlegi állásáról. A mélytanulás jelentős hatást gyakorolt nemcsak a számítógépes látásra és a természetes nyelvek feldolgozására, hanem az olyan klasszikus jelfeldolgozási problémákra is, mint a kép/videó helyreállítása/SR és a tömörítés. A neurális architektúrákban a közelmúltban elért eredmények jelentős javulást eredményeztek a tanult kép/videó helyreállítás és SR teljesítményében. Az adatvezérelt mélytanulási megközelítések fontos előnye, hogy a neurális modellek optimalizálhatók bármilyen differenciálható veszteségfüggvényre, beleértve a vizuális perceptuális veszteségfüggvényeket is, ami perceptuális videó helyreállításhoz és SR-hez vezet, amelyet a hagyományos modellalapú megközelítések nem tudnak könnyen kezelni.
A kiadvány a problémafelvetéssel és a hagyományos vs. adatvezérelt megoldások rövid megvitatásával kezdődik. Ezt követően a neurális architektúrák legújabb fejleményeit veszi figyelembe, és a kép/videó helyreállítás és SR veszteségfüggvényeit és értékelési kritériumait tárgyalja. A tanult képrestaurálást és SR-t is figyelembe vesszük, mint a tanulás vagy egy leképezést a degradált képek teréből az ideális képekbe az egyetemes közelítési tétel alapján, vagy egy generatív modellt, amely megragadja az ideális képek valószínűségi eloszlását. A felügyelt képzés valós helyreállításra és SR-re való alkalmazásának gyakorlati problémái és a megoldási modellek is szerepelnek.
A tanult videó SR-ről szóló részben a tanult videófeldolgozásban az időbeli korrelációk kihasználására szolgáló megközelítések kerülnek tárgyalásra, majd a hálózat paramétereinek perceptuális optimalizálása kerül megvitatásra a természetes textúra és mozgás elérése érdekében. A kiadványt a különböző megközelítések összehasonlító tárgyalása zárja.