Rethinking Training Strategies and Improving Model Structures for Multiple-Object Tracking
Amélioration de stratégies d'entrainements et développement de modèles pour le suivi d'objets multiple
Résumé
Multiple-object tracking (MOT) aims to provide all object trajectories (accurate positions and consistent identities) in a given scene. The predominant way of performing MOT is tracking-by-detection. It first detects the positions of objects in video frames and then associates them despite object occlusions, (re-)occurring and disappearing. Therefore, MOT relies on both object detection and object temporal association. The two steps are often treated as two computer-vision sub-tasks: one aims to robustly detect objects and the other focuses on optimally associating the frame-to-frame object positions. Within this paradigm, this presentation investigates three different problems in MOT: (i) Deep learning-based MOT methods have been proposed but they are still trained with separate objective functions, directly transferred from their corresponding sub-tasks: typically, a bounding-box regression loss for the detection and an object-identity classification loss for the association. Instead, standard MOT evaluations are unified metrics considering object miss detections, false detections, and identity changes. To close this train-evaluation gap, we propose a MOT training framework through a deep Hungarian proxy -- deepMOT, leveraging standard evaluation metrics as objective functions for training any deep MOT method; (ii) MOT becomes more challenging with the recent introduction of very crowded scenes (e.g., MOT20). The crowded scenario with dense interactions among objects motivates us to leverage the global dependency of transformers. To this end, we question the current MOT model structures and conceive a novel transformer-based MOT tracking method -- TransCenter, exhibiting state-of-the-art performance; (iii) Current MOT methods are mostly trained with the supervision of abundant object-position and -identity annotations. However, this is usually not possible in real-world applications where we only have some annotated videos for trainin g while we deploy the MOT method to unlabeled scenes. We tackle this issue and propose an unsupervised domain adaptation MOT training framework -- DAUMOT, to overcome the limitation of unlabeled data. To conclude, (i) we address the supervised MOT training problem by unifying the evaluation metrics and the training losses; (ii) Facing the challenging crowded scenes, we rethink the MOT model structures and propose a state-of-the-art transformer-based MOT method; (iii) To tackle the unavailability of annotations in real-world data, we explore an unsupervised domain adaptation framework for training MOT methods without labels in the target scenes.
Le suivi d'objets multiple (MOT) vise à fournir les trajectoires des objets présents dans une séquence vidéo donnée. Le suivi d'objets multiple est un problème complexe. Dans une trajectoire, l'objet doit conserver une identité cohérente et inclure toutes ses positions au court du temps.Une approche prédominante de MOT est appelée suivi par détection: elle détecte d'abord toutes les positions d'objets dans la vidéo, puis tente de les associer temporellement en dépit du risque d'occlusion, de (ré)apparition et disparition d'objets. Par conséquent, le MOT s'appuie à la fois sur sa capacité à bien détecter les objets et sur la cohérence de son association temporelle. Ces problèmes sont généralement traités comme deux sous-tâches de la vision par ordinateur : l'une visant à détecter les objets et l'autre à trouver l'association temporelle entre detections. Avec le développement rapide des méthodes basées sur l'apprentissage profond, des méthodes MOT ont été proposé avec succès. Cependant, elles sont toujours entraînées avec des fonctions de coût distinctes, directement transférées de leurs sous-tâches respectives : une fonction de coût pour la régression de la position des detections, et une pour la classification/identification d'objets afin de résoudre l'association temporelle. Au contraire, les évaluations standard de MOT utilisent des métriques unifiées qui prennent en compte à la fois les détections manquées, les fausses détections et les changements d'identité des objets. Pour combler ce fossé entre entraînement et évaluation, nous proposons une approche novatrice pour le MOT -deepMOT- utilisant ces métriques d'évaluation comme fonctions de coût, et généralisable à n'importe quelle méthode de MOT profonde. Ces dernières années, le MOT est devenu plus complexe à cause de la densité importante des objets trackés dans les scènes issues des nouveaux datasets. Ces scénarios aux interactions complexes nous a incité à tirer parti de la capacité à saisir les dépendances globales des architectures transformers. À cette fin, nous proposons une nouvelle méthode MOT -TransCenter-, et présentant des performances de tracking supérieures à celles de l'état de l'art. Toutes les méthodes ci-dessus sont construites sur des bases de données d'entraîneme nt fournissant les annotations d'identité et de position des objets. Dans un contexte plus réaliste d'entraînement de ces méthodes à un environnement cible spécifique (laboratoire, lieux publique ect), ces annotations ne sont disponibles que pour un sous-ensemble de données. Pour résoudre ce problème, nous proposons une approche non supervisée - DAUMOT - qui surmonte cette limitation par le biais de stratégies d'adaptation de domaine non supervisé.
| Origine | Version validée par le jury (STAR) |
|---|