KI-Video, berichtet aus den Quellen

Analyse

PhysResponse-Benchmark: Zehn Videomodelle verfehlen physikalische Parameter, so die Autoren

Neuer arXiv-Benchmark zeigt: Physikfehler von image-to-video-Modellen übersteigen die korrekter Videos deutlich, und PSNR kann statische Ausgaben belohnen.

Titelbild: Ein Standbild schlägt Videomodelle beim PSNR. 37,8 PSNR des wiederholten Standbilds, höher als bei jedem Modell. PhysResponse, Wan2.2-I2V-A14B, MiniMax-H3, PhysRVG, PhysAlign, Cosmos3-Nano

Die Autoren von PhysResponse, einem arXiv-Benchmark für Videogeneratoren, berichten, dass bei zehn image-to-video-Modellen die besten Parameterfehler noch immer mehr als zehnmal so hoch sind wie bei physikalisch korrekten Videos (arXiv). Außerdem sagen sie, dass die Modelle selten beide Ergebnisse eines Übergangspaars reproduzieren und dass gängige visuelle Metriken wie PSNR Fehler übersehen, die der Benchmark aufdeckt. Für alle, die ein Modell für physikalisch plausible Bewegung auswählen, deutet das Ergebnis darauf hin, dass Pixelähnlichkeitswerte ein schlechter Wegweiser sind.

Was der Benchmark misst

PhysResponse prüft laut Paper die Reaktionsfähigkeit auf physikalische Parameter auf zwei Ebenen. Die erste Ebene invertiert einen auf die Szene konditionierten Simulator und ermittelt Schwerkraft, Reibung und Anfangsgeschwindigkeit, die die erzeugte Bewegung tatsächlich zeigt. Die zweite Ebene bewertet Ereignisse nahe kritischer Übergänge. Die Idee ist, in eine physikalische Einstellung einzugreifen und zu prüfen, ob das erzeugte Video darauf reagiert, statt nur zu beurteilen, ob ein Clip plausibel aussieht.

Die Autoren evaluierten zehn Modelle auf Core100 mit vier Prompt-Formaten und Seed 0, was 4.000 erzeugte Videos ergab (arXiv). Zur Kalibrierung der Messung ließen sie Ground-Truth-Videos durch dieselbe Pipeline laufen; dabei zeigten sich Fehler von 3,6 % bei der Schwerkraft, 1,4 % bei der Reibung und 1,1 % bei der Geschwindigkeit. Diese Ground-Truth-Werte sind die Untergrenze, mit der die Fehler der Modelle verglichen werden, und auf sie bezieht sich der Unterschied um eine Größenordnung im Lead.

Visuelle Metriken belohnen Stillstand

Veröffentlichte ErgebnisseTabelle 2 (a) des Papers: Kein Modell folgt der vorgegebenen PhysikZeilen aus Tabelle 2 (a) des Papers (arXiv-HTML-Version), von unserem Code Zelle für Zelle kopiert; eine zweizeilige Kopfzeile erscheint als „Gruppe: Spalte“; ein leeres Namensfeld wiederholt den Namen darüber. Es sind die eigenen Zahlen der Autoren, kein unabhängiger Test. Die Tabelle hat 11 Spalten, 5 sind gezeigt. Nicht gezeigt: Kinematik (2 Spalten), effektiver Parameterfehler (3 Spalten), Human. Zeilen: die ersten 10 von 11.Daten abgerufen am 19. November 2026Quelle [2]So funktioniert dieses FormatDaten herunterladen
Modell Visuelle und Bewegungskonsistenz: L2 err. ↓ Visuelle und Bewegungskonsistenz: S-IoU ↑ Visuelle und Bewegungskonsistenz: PSNR ↑ Visuelle und Bewegungskonsistenz: SSIM ↑ Quellseite
Condition frame repeated 12.59% 0.000 37.8 0.977 https://arxiv.org/html/2611.24419
CogVideoX-1.5 13.59% 0.057 22.9 0.844 https://arxiv.org/html/2611.24419
Cosmos-Predict2 13.60% 0.071 20.8 0.800 https://arxiv.org/html/2611.24419
Cosmos3-Nano 17.40% 0.153 29.7 0.935 https://arxiv.org/html/2611.24419
HunyuanVideo-1.5 14.90% 0.200 27.4 0.927 https://arxiv.org/html/2611.24419
MiniMax-H3 13.93% 0.290 27.7 0.853 https://arxiv.org/html/2611.24419
PhysAlign 19.29% 0.217 30.1 0.940 https://arxiv.org/html/2611.24419
PhysRVG 12.94% 0.049 30.3 0.926 https://arxiv.org/html/2611.24419
VideoGPA 16.10% 0.064 22.0 0.806 https://arxiv.org/html/2611.24419
Wan2.2-I2V-A14B 17.16% 0.099 21.0 0.702 https://arxiv.org/html/2611.24419
Figure 3 der Studie: Constructing PhysResponse.
Figure 3 aus arXiv:2611.24419, von den Autorinnen und Autoren der Studie, CC BY 4.0. Constructing PhysResponse.
Diagramm: Visual and motion consistency: L2 err. ↓ by model: Condition frame repeated 12.59%, CogVideoX-1.5 13.59%, Cosmos-Predict2 13.60%, Cosmos3-Nano 17.40%, HunyuanVideo-1.5 14.90%, MiniMax-H3 13.93%…
Visual and motion consistency: L2 err. ↓ by model. Diagramm aus der Tabelle dieses Artikels; Daten von arxiv.org/abs/2611.24419

Tabelle 2 (a) des Papers fasst alle vier Prompt-Formate zusammen und berichtet die visuelle und Bewegungskonsistenz für jedes Modell, dazu eine Zeile, die einfach das Bedingungsbild wiederholt. Dieses wiederholte Bild hat einen L2-Fehler von 12,59 %, einen S-IoU von 0,000, einen PSNR von 37,8 und einen SSIM von 0,977. Die Autoren geben an, dass die Wiederholung des Bedingungsbilds jedes Modell bei PSNR, SSIM und L2-Fehler übertrifft. Die Tabelle zeigt, warum: Das wiederholte Bild hat einen S-IoU von 0,000, enthält also keine Bewegung, doch sein PSNR von 37,8 liegt über dem jedes Modells, wobei PhysAlign mit 30,1 und PhysRVG mit 30,3 unter den Modellen am höchsten liegen. Ein statischer Clip erzielt die beste Ähnlichkeit und verfehlt dabei die eigentliche Aufgabe, sodass diese Metriken schwache Bewegung belohnen.

Unter den Modellen hat PhysRVG mit 12,94 % den niedrigsten L2-Fehler, PhysAlign mit 19,29 % den höchsten. PhysAlign hat dennoch einen PSNR von 30,1 und einen SSIM von 0,940, was neben seinem schlechtesten L2-Wert steht. Die Metriken dieser Tabelle ordnen die Modelle nicht konsistent, ein weiterer Grund, jede einzelne von ihnen zu hinterfragen. MiniMax-H3 zeigt mit 0,290 den höchsten S-IoU unter den Modellen, während Cosmos3-Nano 0,153 bei einem L2-Fehler von 17,40 % erreicht.

Parametergenauigkeit und Ereignisergebnisse laufen auseinander

Die beiden Ebenen des Benchmarks erzählen nicht dieselbe Geschichte. Von 2.385 auf beiden Ebenen bewerteten Schwerkraft-Datensätzen verbinden 48 kleine Parameterfehler mit falschen Ereignisergebnissen, und 929 koppeln große Parameterfehler mit richtigen Ergebnissen. Ein Modell kann also aus dem falschen physikalischen Grund das richtige Ereignis treffen, und ein Benchmark, der nur Ergebnisse prüft, würde das nicht erkennen. Das passt zur Zusammenfassung der Autoren, dass die beiden Ebenen sich ergänzende Fehler aufdecken.

Auch die Rangfolgen hängen vom Maß ab. Laut Paper liegt Wan2.2-I2V-A14B bei PairAcc (30,7 % und 42,1 %) und bei VPSR (22,9 % und 34,6 %) auf Platz eins. Doch in Tabelle 2 (a) hat dieselbe Zeile von Wan2.2-I2V-A14B einen L2-Fehler von 17,16 % und einen SSIM von 0,702, den niedrigsten SSIM der gezeigten Zeilen. Ein Modell, das bei der Genauigkeit der Ereignispaare führt, kann bei der Pixelähnlichkeit schwach wirken, was für physikspezifische Maße spricht.

Umfang und Grenzen

Die Tabelle stammt von den Autoren selbst und ist kein unabhängiger Test, daher spiegeln die Werte deren Pipeline und Prompts wider. Das Paper beschränkt seinen Transfertest mit echten Videos auf WorldBench, und seine zurückgehaltenen Typen führen keine neuen Objekte oder Parameterbereiche ein. Praktiker sollten die Ergebnisse als Diagnose an kontrollierten Szenen lesen: Sie zeigen, wo aktuelle image-to-video-Modelle bei Schwerkraft, Reibung und Geschwindigkeit zurückbleiben, nicht aber, wie sie sich bei beliebigem Filmmaterial verhalten.

Was die gelesenen Quellen nicht angeben

Wir prüfen bei jeder Meldung sechs Angaben im vollständigen Text jeder Quelle. Die unter Quellen genannten Seiten nennen Hardwareanforderungen nicht.

Wie wir das erstellt haben

Veröffentlichte Ergebnisse

Tabelle 2 (a) des Papers: Kein Modell folgt der vorgegebenen Physik

Zeilen aus Tabelle 2 (a) des Papers (arXiv-HTML-Version), von unserem Code Zelle für Zelle kopiert; eine zweizeilige Kopfzeile erscheint als „Gruppe: Spalte“; ein leeres Namensfeld wiederholt den Namen darüber. Es sind die eigenen Zahlen der Autoren, kein unabhängiger Test. Die Tabelle hat 11 Spalten, 5 sind gezeigt. Nicht gezeigt: Kinematik (2 Spalten), effektiver Parameterfehler (3 Spalten), Human. Zeilen: die ersten 10 von 11.

arXiv

Quellen

Die Quellen, aus denen dieser Artikel geschrieben wurde. Die Links öffnen die Originalseite.

  1. arXivPhysResponse: Probing the Physics of Video Generation with Controlled Interventionsarxiv.orgPrimärquelle · abgerufen am 19. November 2026
  2. arXivPhysResponse: Probing the Physics of Video Generation with Controlled Interventionsarxiv.orgPrimärquelle · abgerufen am 19. November 2026
  • physics
  • benchmark
  • image to video
  • evaluation
  • research