CAMOMILE

Inspiration

Avec l’essor des services en lignes, l'activité humaine produit de plus en plus de grands volumes de données multimédia hétérogènes. Pour pouvoir les interpréter et les utiliser efficacement, ces données doivent être rendues disponibles en versions annotées et en très grandes quantités. Malheureusement, le travail manuel d’annotation est très contraignant et son automatisation encore limitée. Le projet Camomile vise à développer le premier prototype d'un cadre d'annotation collaboratif de données 3M (Multimodales, Multilingues et Multimédia), permettant de gérer son travail d’annotation à distance, via un réseau d'ordinateurs, et de localiser de manière centralisée les versions validées de documents annotés.

Innovation

Afin de développer ce nouveau concept d'annotation, les partenaires se concentrent sur le problème de l'annotation des personnes dans une vidéo (qui parle ? qui voit-on ?), ce qui demande le recours à des systèmes automatiques de haut niveau traitant différents médias (vidéo, voix, pistes audio, reconnaissance optique de caractères (OCR), etc.). La qualité des annotations sera évaluée à travers plusieurs cas d'utilisation, telle que la recherche de personnes, et ce sur des corpus différents. Grace à son expertise en extraction et visualisation des connaissances, le Luxembourg Institute of Science and Technology est responsable de la conception et du développement d'une plate-forme visuelle pour aider à l’annotation collaborative.

Impact

Cette nouvelle façon d'aborder le processus d'annotation est à l’origine de méthodologies, outils, instruments et données utiles pour l'ensemble de la communauté scientifique intéressée par les données 3M annotées. La plate-forme de collaboration visuelle développée dans le cadre du projet, disponible en open source pour le public, est constamment enrichie et testée. Une évaluation d’envergure a notamment été conduite à l'Université de Grenoble en 2015. Elle a également été présentée lors de plusieurs événements, y compris au workshop international Errare « Errors by Humans and Machines in multimedia, multimodal and multilingual data processing » 2013.