Învățarea profundă pentru restaurarea și superrezoluția imaginilor/video

Titlul original:

Deep Learning for Image/Video Restoration and Super-resolution

Conținutul cărții:

În această monografie, este prezentată o prezentare generală a evoluțiilor recente și a stadiului actual al tehnologiei în domeniul restaurării imaginilor/video și al superrezoluției (SR) prin utilizarea învățării profunde. Învățarea profundă a avut un impact semnificativ nu numai asupra viziunii pe calculator și a procesării limbajului natural, ci și asupra problemelor clasice de procesare a semnalelor, cum ar fi restaurarea/SR și compresia imaginilor/video. Progresele recente în domeniul arhitecturilor neuronale au condus la îmbunătățiri semnificative ale performanțelor de restaurare și SR a imaginilor/video învățate. Un avantaj important al abordărilor de învățare profundă bazate pe date este faptul că modelele neuronale pot fi optimizate pentru orice funcție de pierdere diferențiabilă, inclusiv funcții de pierdere perceptivă vizuală, ceea ce conduce la restaurarea și SR video perceptive, care nu pot fi gestionate cu ușurință de abordările tradiționale bazate pe modele.

Publicația începe cu o enunțare a problemei și o scurtă discuție privind soluțiile tradiționale vs. cele bazate pe date. Ulterior, sunt luate în considerare progresele recente în arhitecturile neuronale și sunt discutate funcțiile de pierdere și criteriile de evaluare pentru restaurarea imaginilor/video și SR. De asemenea, sunt luate în considerare restaurarea imaginilor învățate și SR, ca învățare fie o cartografiere de la spațiul imaginilor degradate la imagini ideale bazate pe teorema aproximației universale, fie un model generativ care captează distribuția probabilității imaginilor ideale. De asemenea, sunt incluse probleme practice în aplicarea formării supravegheate la restaurarea și SR din viața reală, precum și modelele de soluții.

În secțiunea privind SR video învățată, sunt abordate abordările de exploatare a corelațiilor temporale în procesarea video învățată, iar apoi este discutată optimizarea perceptivă a parametrilor rețelei pentru a obține textura și mișcarea naturale. Publicația se încheie cu o discuție comparativă a diferitelor abordări.