La vidéo IA, racontée depuis les sources

Analyse

One Shot Any View : nouveaux trajets de caméra, erreur de pose inférieure à deux références selon les auteurs

Un article arXiv affirme que One Shot Any View bat Vista4D et CameraAnything sur l'erreur de pose de caméra en retournage vidéo, et expose ses limites.

Couverture: One Shot Any View, 1,895, RotErr global, contre 2,913 pour Vista4D et 3,067 pour CameraAnything

Les auteurs de One Shot Any View présentent, dans un article arXiv, un système qui transforme un clip enregistré en une vidéo retournée de la même performance, suivant une trajectoire de caméra définie par l’utilisateur (arXiv). Dans le Tableau 2 de l’article, sur 50 paires synchronisées, il obtient les erreurs de pose de caméra globales les plus basses : RotErr 1,895 et TransErr 0,564, contre 2,913 et 0,730 pour Vista4D et 3,067 et 0,925 pour CameraAnything (arXiv). Les auteurs affirment aussi que le système surpasse les méthodes de retournage existantes dans les évaluations objectives comme humaines ; ce sont leurs propres chiffres, non un test indépendant.

Ce que fait le système

La tâche est le retournage : l’entrée est une prise enregistrée, et la sortie est la même performance vue selon un trajet de caméra choisi par l’utilisateur. Selon l’article, le générateur produit nativement de la vidéo en 768P, et une étape optionnelle de super-résolution par diffusion en une étape la met à l’échelle en 1440P. Les auteurs expliquent qu’un décalage RoPE ancré dans la géométrie maintient la vidéo générée synchronisée avec la source, tout en empêchant largement la sortie de reproduire l’aspect dégradé de la vidéo de points. Pour les données d’entraînement réelles, l’article décrit environ 30k prises synchronisées, chacune filmée par deux à quatre caméras, dont il reste environ 10k clips à deux caméras de 3 à 15 s après sélection.

Erreurs de pose sur 50 paires

Résultats publiésTableau 2 de l'article : erreurs de pose relative de la caméra sur des paires de vidéos synchroniséesLignes du Tableau 2 de l'article (version HTML d'arXiv), copiées cellule par cellule par notre code ; un en-tête à deux lignes s'affiche « groupe : colonne » ; une cellule de nom vide répète le nom au-dessus. Ce sont les chiffres des auteurs, non un test indépendant. La première colonne indique le bloc du tableau où se trouve la ligne.Données lues le 19 novembre 2026Source [2]Comment fonctionne ce formatTélécharger les données
Bloc du tableau Méthode RotErr (deg) ↓ TransErr ↓ Page source
All pairs ( n=50 ) Vista4D 2.913 0.730 https://arxiv.org/html/2611.24253
All pairs ( n=50 ) CameraAnything 3.067 0.925 https://arxiv.org/html/2611.24253
All pairs ( n=50 ) Ours 1.895 0.564 https://arxiv.org/html/2611.24253
Small viewpoint change: pixel coverage >50% ( n=25 ) Vista4D 1.076 0.502 https://arxiv.org/html/2611.24253
Small viewpoint change: pixel coverage >50% ( n=25 ) CameraAnything 2.193 0.961 https://arxiv.org/html/2611.24253
Small viewpoint change: pixel coverage >50% ( n=25 ) Ours 1.580 0.333 https://arxiv.org/html/2611.24253
Large viewpoint change: pixel coverage <50% ( n=25 ) Vista4D 4.751 0.957 https://arxiv.org/html/2611.24253
Large viewpoint change: pixel coverage <50% ( n=25 ) CameraAnything 3.941 0.888 https://arxiv.org/html/2611.24253
Large viewpoint change: pixel coverage <50% ( n=25 ) Ours 2.210 0.795 https://arxiv.org/html/2611.24253

Le Tableau 2 mesure les erreurs de pose relative de la caméra sur des paires de vidéos synchronisées, en prenant pour référence les poses estimées à partir des images sources et des images cibles enregistrées. TransErr est donné comme une fraction de la ligne de base médiane du clip de référence, et le tableau indique les moyennes pour chaque groupe de couverture et pour l’ensemble des 50 paires, chaque paire ayant le même poids. Sur l’ensemble des paires, One Shot Any View obtient 1,895 en RotErr et 0,564 en TransErr, les valeurs les plus basses des trois méthodes sur les deux mesures. Le résultat dépend toutefois du changement de point de vue : pour les petits changements, Vista4D a le RotErr le plus bas, 1,076 contre 1,580 pour One Shot Any View. Pour les grands changements de point de vue, le RotErr de Vista4D monte à 4,751, tandis que celui de One Shot Any View monte à 2,210. CameraAnything obtient 2,193 en RotErr sur les petits changements et 3,941 sur les grands. L’avantage global en RotErr vient donc du groupe des grands changements, où le tableau place One Shot Any View devant les deux références. Sur TransErr, le tableau est plus favorable : One Shot Any View obtient 0,333 sur les petits changements et 0,795 sur les grands, la valeur la plus basse dans chaque groupe.

Les auteurs expliquent l’écart en disant que Vista4D s’appuie davantage sur la vidéo de points et en suit de près les positions, ce qui aide tant que cette vidéo est fiable. Chaque groupe compte 25 paires, si bien que les différences entre groupes reposent sur de petits échantillons et proviennent de l’évaluation des auteurs eux-mêmes.

Limites énoncées par les auteurs

L’article signale une dérive d’identité sur les petits visages : lorsqu’un visage ne couvre que quelques pixels dans la sortie native en 768P, le générateur conserve peu de détails fins, et la super-résolution peut alors produire des traits plus nets qui ressemblent à une autre personne. Cela concerne l’option 1440P, puisque l’étape de mise à l’échelle est celle où cette dérive apparaît. Une autre limite énoncée tient au contenu non observé : si la caméra source filme un interprète de dos et que la vue demandée montre le visage, une photo de référence de face prise à un autre moment peut guider la forme du visage, mais le modèle doit encore déduire l’expression à chaque instant. Une expression générée peut sembler naturelle tout en différant de ce qu’une caméra frontale aurait enregistré. Comme chaque vue cible est générée indépendamment, deux vues peuvent montrer des expressions différentes au même instant.

Les auteurs notent aussi que les images d’entraînement montrent parfois un interprète hors du champ de la caméra source, si bien que le générateur ajoute occasionnellement une personne supplémentaire lors du retournage d’un clip. Le système actuel traite des clips préenregistrés hors ligne, et les auteurs considèrent le streaming en temps réel comme un travail futur.

Ce qu’il faut en retenir

Pour les praticiens, l’essentiel est de savoir où la méthode aide : les chiffres de l’article la favorisent lorsque le changement de point de vue est grand et que la vidéo de points se dégrade. Les chiffres de pose proviennent de la comparaison des auteurs eux-mêmes avec Vista4D et CameraAnything ; ils montrent donc un classement relatif dans ce cadre plutôt qu’un classement indépendant.

Absent des sources : prix et configuration matérielle

Nous vérifions six informations pour chaque sujet dans le texte intégral de chaque source. Les pages citées en sources n’indiquent pas un prix ni la configuration matérielle requise.

Comment nous l'avons construit

Résultats publiés

Tableau 2 de l'article : erreurs de pose relative de la caméra sur des paires de vidéos synchronisées

Lignes du Tableau 2 de l'article (version HTML d'arXiv), copiées cellule par cellule par notre code ; un en-tête à deux lignes s'affiche « groupe : colonne » ; une cellule de nom vide répète le nom au-dessus. Ce sont les chiffres des auteurs, non un test indépendant. La première colonne indique le bloc du tableau où se trouve la ligne.

arXiv

Sources

Les sources à partir desquelles cet article a été rédigé. Les liens ouvrent la page d'origine.

  1. arXivOne Shot, Any View: High-Fidelity Video Reshooting with Geometry Guidance and Visual Referencesarxiv.orgSource primaire · consultée le 19 novembre 2026
  2. arXivOne Shot, Any View: High-Fidelity Video Reshooting with Geometry Guidance and Visual Referencesarxiv.orgSource primaire · consultée le 19 novembre 2026
  • video reshooting
  • camera control
  • arxiv
  • vista4d