Régularisation entropique des vecteurs de caractéristiques d'un réseau de neurones pour une meilleur transférabilité - IMT - Institut Mines-Télécom Accéder directement au contenu
Communication Dans Un Congrès Année : 2023

Régularisation entropique des vecteurs de caractéristiques d'un réseau de neurones pour une meilleur transférabilité

Résumé

This paper discusses the problem of classification when learning on an approximation of the labels. For example, a regression problem can be discretized to obtain a classification problem that is easier to solve. One problem encountered when training with the cross-entropy is the overfitting of the features that occurs with coarse labeling. To address this problem, we introduce an entropic regularization applied to the feature space to increase features’ diversity. These features can be later used to solve a refined task with a smaller error. The validity of our method is supported by both theoretical analysis and experiments
Cet article étudie la classification de données à partir d'un apprentissage sur une approximation de leurs étiquettes. Par exemple, un problème de régression peut être discrétisé pour obtenir un problème de classification plus simple à résoudre. Un problème rencontré avec l'utilisation de l'entropie croisée comme critère d'entraînement dans cette situation est le surapprentissage des caractéristiques focalisant trop sur l'étiquetage grossier. Pour résoudre ce problème, nous introduisons une régularisation entropique appliquée à l'espace de caractéristiques du modèle. Ces caractéristiques peuvent ensuite être utilisées pour résoudre une tâche raffinée avec une erreur moindre. La validité de notre méthode est soutenue à la fois par une analyse théorique et des expériences.
Fichier principal
Vignette du fichier
GRETSI_FIERCE (3).pdf (224.35 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04058379 , version 1 (04-04-2023)

Identifiants

  • HAL Id : hal-04058379 , version 1

Citer

Raphael Baena, Lucas Drumetz, Vincent Gripon. Régularisation entropique des vecteurs de caractéristiques d'un réseau de neurones pour une meilleur transférabilité. GRETSI 2023, Groupe de Recherche et d'Etudes de Traitement du Signal et des Images GRETSI, Aug 2023, Grenoble (FRANCE), France. ⟨hal-04058379⟩
44 Consultations
49 Téléchargements

Partager

Gmail Facebook X LinkedIn More