FastFrames, un article publié sur arXiv, présente une famille de modèles de diffusion vidéo autorégressifs qui, selon lui, atteignent une latence interactive sans perte de qualité (arXiv). Son plus petit modèle, de 1,3B, génère une image en 36 ms, soit 28 réponses par seconde, sur un seul GPU B200, et l’article affirme que sa qualité égale celle d’un modèle de pointe presque 8x plus lent. Pour qui choisit un modèle de vidéo en temps réel, la question devient de savoir si un budget de 50 ms en 480p est atteignable sur le matériel actuel des centres de données (arXiv).
Le profilage pointe le décodage et les mises à jour du cache
L’article part d’un résultat de profilage : selon les auteurs, le décodage VAE et les mises à jour du cache KV représentent plus de la moitié de la latence d’inférence de bout en bout des modèles de pointe. Ce cadrage explique pourquoi ce travail vise l’ensemble de la chaîne plutôt que les seules étapes de débruitage. Les modèles publiés sont des modèles de diffusion vidéo autorégressifs en deux étapes, qui génèrent de la vidéo en 480p avec une latence interactive, en deux tailles : FastFrames-S à 1,3B et FastFrames-L à 14B (huggingface.co).

Latence en 480p et en 720p
L’article donne pour FastFrames-S 36 ms en 480p et 127 ms en 720p, mesurées sur un B200. FastFrames-L, le modèle de 14B, prend 45 ms en 480p et 116 ms en 720p lorsqu’il est réparti sur 8 GPU B200. La légende du tableau 1 définit la cible interactive comme 50 ms ou moins et la latence sous la seconde comme comprise entre 50 et 1 000 ms ; FastFrames-S à 36 ms et FastFrames-L sur 8 GPU à 45 ms atteignent donc la cible en 480p, tandis que FastFrames-S à 127 ms en 720p relève de la tranche sous la seconde. Le plus grand modèle nécessite 8 GPU pour ses chiffres ; ses 116 ms en 720p ne correspondent donc pas à une seule carte.
Comment le tableau 1 classe les modèles de référence
| Bloc du tableau | Modèle | Taille (B) | Latence (ms) ↓ | Page source |
|---|---|---|---|---|
| Bidirectional Video Models | Wan2.1 | 1.3 | 30,444 | https://arxiv.org/html/2611.23226 |
| Bidirectional Video Models | Wan2.2 | 14.3 | 117,734 | https://arxiv.org/html/2611.23226 |
| Bidirectional Video Models | MiniMax-H3 | 33.1 | 38,454 | https://arxiv.org/html/2611.23226 |
| Bidirectional Video Models | HunyuanVideo1.5 | 8.3 | 1,555,508 | https://arxiv.org/html/2611.23226 |
| Bidirectional Video Models | LTX2.5 | 19.0 | 11,264 | https://arxiv.org/html/2611.23226 |
| Autoregressive Video Models | Helios Distilled | 14.3 | 2,544 | https://arxiv.org/html/2611.23226 |
| Autoregressive Video Models | Krea-Realtime | 14.3 | 1,675 | https://arxiv.org/html/2611.23226 |
| Autoregressive Video Models | LongLive2.0 | 5.0 | 505 | https://arxiv.org/html/2611.23226 |
| Autoregressive Video Models | CausVid | 1.3 | 662 | https://arxiv.org/html/2611.23226 |
| Autoregressive Video Models | Causal Forcing++ | 1.3 | 272 | https://arxiv.org/html/2611.23226 |
La légende du tableau 1 indique que chaque méthode reçoit les mêmes prompts et les mêmes seeds, tourne sur un seul B200 sauf mention contraire, et est évaluée à environ 480p avec ses dimensions officiellement prises en charge. Parmi les modèles bidirectionnels, Wan2.1 à 1,3 B prend 30 444 ms et LTX2.5 à 19,0 B prend 11 264 ms. Parmi les modèles autorégressifs, LongLive2.0 à 5,0 B prend 505 ms et CausVid à 1,3 B prend 662 ms. Les lignes bidirectionnelles vont de 11 264 ms pour LTX2.5 à 1 555 508 ms pour HunyuanVideo1.5, très loin d’une cible de 50 ms ; la comparaison pertinente pour un usage interactif se fait donc avec le bloc autorégressif. Même là, la référence la plus rapide de l’article est Causal Forcing++ à 272 ms, ce qui est sous la seconde mais pas interactif selon la définition de la légende, tandis que LongLive2.0 à 5,0 B prend 505 ms, Krea-Realtime à 14,3 B prend 1 675 ms et Helios Distilled à 14,3 B prend 2 544 ms. Les 36 ms de FastFrames-S sont inférieures à toutes les latences de référence des lignes listées ici. La taille seule n’explique pas l’écart : Wan2.2 à 14,3 B prend 117 734 ms, alors que Krea-Realtime, pour les mêmes 14,3 B, prend 1 675 ms.
Conditions de licence et choix entre les deux tailles
La fiche de modèle Hugging Face de FastFrames-L déclare la licence apple-amlr, et le dépôt indique que le code et les poids de LingBot-World v2 suivent leur licence amont CC BY-NC-SA 4.0, tandis que tout le reste du code FastFrames relève de l’Apple Sample Code License ; quiconque envisage d’utiliser les poids doit donc lire d’abord ces conditions (Hugging Face). Prises ensemble, la ligne de licence de la fiche de modèle et les chiffres de latence de l’article signifient que la même publication porte à la fois les conditions d’usage et les revendications de vitesse qu’une équipe devra peser. Une équipe qui compare un modèle de 1,3B sur un B200 à un modèle de 14B sur 8 GPU B200 voit 36 ms contre 45 ms en 480p, et 127 ms contre 116 ms en 720p. D’après ces chiffres, le plus petit modèle atteint déjà la cible de 50 ms sur une seule carte, alors que le plus grand en exige 8 pour une latence similaire.
Comment nous l'avons construit
Résultats publiésTableau 1 de l'article : comparaisons quantitatives de la latence de bout en bout et des scores VBench
Lignes du tableau 1 de l'article (version HTML d'arXiv), copiées cellule par cellule par notre code. Ce sont les chiffres des auteurs, non un test indépendant. La première colonne indique le bloc du tableau. Le tableau compte 6 colonnes ; 3 sont affichées, avec toute colonne contenant un chiffre cité ici ou une mesure nommée. Non affichée : VBench ↑ (3 colonnes). Lignes : 10 sur 16, avec toute ligne dont l'article donne ou nomme la valeur ; non affichées : lignes 6, 11, 13, 14, 15, 16. Sur 2 blocs, un est affiché en partie : Autoregressive Video Models (5 lignes sur 11).
Sources
Les sources à partir desquelles cet article a été rédigé. Les liens ouvrent la page d'origine.
- arXivFastFrames: Video Generation at Interactive Latencyarxiv.org
- huggingface.coFastFrames: Video Generation at Interactive Latencyhuggingface.co
- arXivFastFrames: Video Generation at Interactive Latencyarxiv.org
- Hugging FaceLicence declared in the front matter of the model card apple/FastFrames-L on Hugging Facehuggingface.co

