Transfert d’apprentissage et visualisation de réseaux de neurones pour les images artistiques

Transfert d’apprentissage et visualisation de réseaux de neurones pour les images artistiques,
Nicolas Gonthier, Yann Gousseau, and Saïd Ladjal, Télécom Paris

Retrouvez cette présentation (version augmentée) en plein écran ici.

Résumé
L’apprentissage par transfert à partir de vastes bases de données d’images, en particulier ImageNet, l’adaptation de modèles standards de réseaux de neurones à convolution et l’utilisation de réseaux pré-entraînés correspondants sont devenus de facto la méthode pour les applications d’analyse artistique. Néanmoins, il existe de grandes différences dans la taille des jeux de données, le type d’image et les spécifications des tâches pour la classification des images naturelles et celle des images artistiques cibles, et l’on comprend mal les effets de l’apprentissage par transfert. Dans ce travail, nous explorons certaines propriétés de l’apprentissage par transfert pour les images artistiques. Nous avons comparé différentes façons d’obtenir un classificateur d’images : en modifiant ou non les modèles pré-entraînés et en faisant un apprentissage à partir de zéro. Nous utilisons également des techniques de visualisation afin de comprendre plus précisément ce que le réseau a appris sur ces ensembles de données artistiques spécifiques. Ces visualisations des représentations internes des réseaux de neurones profonds peuvent aider à mettre en évidence la façon dont les réseaux de neurones construisent leur "compréhension" des images. Nous avons observé que le réseau pouvait préciser certains filtres pré-entraînés afin de les adapter à la nouvelle modalité des images. D’autre part, le réseau peut également apprendre de nouveaux filtres très structurés spécifiques aux images artistiques lorsque les couches de niveau inférieur du modèle initial sont "gelées". En particulier, il est possible d’obtenir des classificateurs ayant des performances de classification équivalentes, mais avec des représentations internes différentes, qui peuvent être spécifiques aux images artistiques ou non.

Biographies
Nicolas Gonthier a été diplômé de l’ISAE-Supaéro en 2017 avec une spécialisation en science des données et a obtenu un master en mathématiques appliquées à l’Université de Toulouse la même année. Il est actuellement doctorant à Télécom Paris, Institut Polytechnique de Paris. Il a obtenu une bourse interdisciplinaire (IDI IDEX) de l’université Paris-Saclay pour effectuer son doctorat. Les thématiques de recherche qui l’intéressent sont l’apprentissage profond, le traitement des images et l’apprentissage automatique pour le patrimoine culturel.

Yann Gousseau a obtenu le diplôme d’ingénieur de l’École Centrale de Paris, France, en 1995, et un doctorat en mathématiques appliquées de l’Université de Paris-Dauphine en 2000. Il est actuellement professeur à Télécom Paris. Ses recherches portent sur la modélisation mathématique des images et des textures naturelles, la géométrie stochastique, la photographie computationnelle, la vision par ordinateur et le traitement des images et de la vidéo.

Saïd Ladjal est un ancien élève de l’École Normale Supérieure, France. Il a obtenu un master de l’École Polytechnique et un doctorat de l’École Normale Supérieure de Cachan en 2005 en mathématiques. Il est actuellement maître de conférence à Télécom Paris. Ses recherches portent sur la qualité des images, la photographie computationnelle et la compréhension des images.