ImageGraph : un langage de programmation graphique pour les humanités numériques visuelles,
Leonardo Impett, Assistant Professor at the Department of Computer Science, University of Durham
Retrouvez cette présentation (version augmentée) en plein écran ici
Résumé
Les vastes compétences techniques requises pour mettre en oeuvre les outils informatiques (par exemple Tensorflow, pyTorch, Caffe) sont l’un des plus grands freins à l’entrée des universitaires en sciences humaines et sociale dans l’usage développé de l’apprentissage automatique et de la vision par ordinateur. Cela constitue un enjeu, y compris pour les data scientists expérimentés et les programmeurs Python. La récente évolution vers des interfaces de type "glisser-déposer" (par exemple l’application freemium RunwayML) va accroître l’accessibilité aux réseaux pré-entraînés. Mais de telles interfaces n’autorisent généralement pas les utilisateurs à tester de nouveaux modèles pour leurs propres recherches, ni de manipuler et combiner différents modèles dans des chaînes de traitement sophistiquées.
S’inspirant des outils perfectionnés de programmation graphiques de la musique contemporaine (par exemple PureData), ImageGraph est un langage de programmation visuel open source qui tente de rendre la vision par ordinateur (et d’autres formes d’apprentissage automatique) plus accessible. Les utilisateurs écrivent un programme informatique grâce une interface graphique de type "glisser-déposer". Le programme informatique est ensuite compilé dans Python et Tensorflow, téléchargé automatiquement dans GitHub (avec le contrôle de la version) et exécuté sur le Cloud dans Google Colab. ImageGraph réduit ainsi les obstacles à l’utilisation de la vision par ordinateur et de l’apprentissage machine, tant en termes de capacités techniques que d’exigences matérielles. Des extensions pour le traitement du langage naturel et pour les sciences des données sont en cours de développement.
Biographie
Leonardo Impett est enseignant en informatique à l’Université de Durham au Royaume-Uni. Il a une formation en ingénierie de l’information et en apprentissage automatique. Il a travaillé et étudié avec le Cambridge Machine Learning Lab, le Cambridge Rainbow Group et Microsoft Research Cairo. Son doctorat, sous la direction de Sabine Süsstrunk et Franco Moretti à l’EPFL, portait sur l’utilisation de la vision par ordinateur pour la "lecture à distance" de l’histoire de l’art. En 2018, Leonardo Impett a été boursier de la Villa I Tatti - le Centre d’études de la Renaissance italienne de Harvard. De 2018 à 2020, il a été assistant scientifique, puis scientifique, à la Bibliotheca Hertziana - Institut Max Planck d’histoire de l’art à Rome. Parallèlement à ses recherches en histoire de l’art numérique, il travaille fréquemment sur l’apprentissage automatique dans des institutions culturelles, comme la Biennale de Liverpool, le Royal Opera House et le Whitney Museum of American Art.
