Apprentissage mono-image contraint pour la super-résolution - Equipe Image, Modélisation, Analyse, GEométrie, Synthèse Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

A statistically constrained internal method for single image super-resolution

Apprentissage mono-image contraint pour la super-résolution

Résumé

Deep learning based methods for super-resolution (SR) have drawn a lot of attention lately. In particular, various papers have shown that the learning stage can be performed on a single image, resulting in the so-called internal approaches. The SinGAN method is one of these contributions, where the distribution of image patches is learnt on the image at hand and propagated at finer scales. Now, there are situations where some statistical a priori can be assumed for the final image. In particular, many natural phenomena yield images having power law Fourier spectrum, such as cloud and other texture images. In this work, we show how such a priori information can be integrated into an internal super-resolution approach, by constraining the learned up-sampling procedure of SinGAN. We demonstrate on various experiments that these constraints are indeed satisfied, but also that some quality measures can be improved by the proposed approach.
Les méthodes basées sur l'apprentissage profond pour la super-résolution (SR) ont été récemment l'objet de nombreux travaux. En particulier, plusieurs articles ont montré que l'étape d'apprentissage peut être effectuée sur une seule image (approches dites internes). La méthode SinGAN est l'une de ces contributions, où la distribution des patchs de l'image est apprise sur l'image en entrée et propagée à des échelles plus fines. Il existe des situations dans lesquelles des a priori statistiques peuvent être supposés pour l'image finale. En particulier, de nombreux phénomènes naturels produisent des images ayant un spectre de Fourier décroissant selon une loi de puissance, comme les nuages et autres images de texture. Dans cet article, nous montrons comment de telles informations a priori peuvent être intégrées dans une approche de super-résolution interne, en contraignant la procédure d'échantillonnage de SinGAN. Nous démontrons par diverses expériences que ces contraintes sont effectivement satisfaites, mais aussi que certaines mesures de qualité peuvent être améliorées par l'approche proposée.
Fichier principal
Vignette du fichier
2022_chatillon960.pdf (6.69 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03837041 , version 1 (02-11-2022)

Identifiants

  • HAL Id : hal-03837041 , version 1

Citer

Pierrick Chatillon, Yann Gousseau, Sidonie Lefebvre. Apprentissage mono-image contraint pour la super-résolution. GRETSI 2022, Sep 2022, Nancy, France. ⟨hal-03837041⟩
66 Consultations
11 Téléchargements

Partager

Gmail Facebook X LinkedIn More