Ein arXiv-Paper zu Fehlern bei Text-zu-Video berichtet, dass bei Mochi eine höhere Guidance-Skala .649 der Fehler behebt, wenn ein Demand-Score über einem angepassten Schwellenwert liegt, und .385 darunter (arXiv). Unterhalb des Schwellenwerts schneidet die Skala etwa so gut ab wie eine erneute Generierung, und laut den Autoren ist DCR dort die bessere Wahl. Für die Praxis geht es um Triage: Der Score wird früh im Denoising gelesen und kann daher nach einem fehlgeschlagenen Clip die Wahl der Korrektur leiten (arXiv).
Was der Demand-Score ist
Die Autoren definieren Demand als Maß dafür, wie stark der Denoiser auf den Teil des Prompts reagiert, den ein fehlgeschlagenes Video auslässt. Er lässt sich aus dem ersten Viertel des Denoising ablesen, noch bevor ein Video existiert. Laut dem Paper kostet der Score etwa ein Viertel des Rechenaufwands eines Videos.
Das Paper nennt eine Bedingung dafür, wann eine größere Skala hilft: Der Prompt darf keine Negation und kein an einen bestimmten Zeitpunkt gebundenes Ereignis enthalten, und der Demand muss ausreichend hoch sein. Damit wird eine vage Tuning-Gewohnheit zu einer Regel, die sich pro Prompt prüfen lässt.
Wo eine höhere Skala nichts bewirkt
Bei Mochi senkt eine höhere Guidance-Skala die Fehlerrate bei seltenen Kompositionen von .472 auf .297, hilft aber nicht bei Negationen oder zeitlichen Prompts. Bei zeitlichen Prompts bewirkt eine höhere Skala in den Daten der Autoren nichts: Die Fehlerrate bewegt sich von .495 auf .527 (p=.32). Für die schwache Besserung bei Negations-Prompts bietet das Paper eine Erklärung: Die Reaktion des Modells könnte auf das genannte Objekt hin statt von ihm weg zeigen, sodass die Nennung von Fahrzeugen sie selbst nach dem Wort „kein“ wahrscheinlicher machen kann. Laut den Autoren kann eine größere Skala die Richtung dieser Reaktion nicht umkehren.
Für Negationen verweist das Paper auf eine andere Art von Korrektur, die vom unerwünschten Inhalt wegsteuert. Bei Negations-Prompts auf Mochi behebt NEGATE 50.0% der Fehler.
Was Tabelle 2 für drei Modelle zeigt
| Tabellenblock | Negation | Seltene Komp. | Zeitlich | Quellseite | |
|---|---|---|---|---|---|
| (a) Correlation between demand and failure, within each failure type | Mochi | +0.092 | -0.176 | -0.116 | https://arxiv.org/html/2611.23025 |
| (a) Correlation between demand and failure, within each failure type | HunyuanVideo | +0.290 | -0.345 | -0.267 | https://arxiv.org/html/2611.23025 |
| (a) Correlation between demand and failure, within each failure type | CogVideoX | +0.148 | -0.070 | -0.043 | https://arxiv.org/html/2611.23025 |
Die Tabelle gibt für Mochi, HunyuanVideo und CogVideoX die Korrelation zwischen Fehler und Demand innerhalb jedes Fehlertyps an. Fehlschlagende Negations-Prompts haben einen höheren Demand als gelingende, während fehlschlagende Prompts mit seltener Komposition und zeitliche Prompts einen niedrigeren haben, und die Richtung ist bei allen drei Modellen gleich. Die Negationskorrelation reicht von +0,092 bei Mochi bis +0,290 bei HunyuanVideo. Der Vorzeichenwechsel zwischen Negation und den beiden anderen Typen macht den Demand als Orientierung nutzbar: Ein hoher Score ist bei seltener Komposition eine gute Nachricht, bei Negation aber ein Warnzeichen. Die Korrelationen sind nicht groß, und CogVideoX ist mit +0,148 bei Negation, -0,070 bei seltener Komposition und -0,043 bei zeitlichen Prompts der schwächste Fall. HunyuanVideo zeigt die stärksten Werte, etwa -0,345 bei seltener Komposition gegenüber -0,176 bei Mochi.
Die Autoren berichten außerdem, dass ein an einem Modell gemessener Demand-Score unbehandelte Fehler eines anderen Modells etwa so gut vorhersagt wie der eigene Score des zweiten Modells. Das Paper ergänzt, dass die Umstände, unter denen eine erhöhte Skala hilft, von Modell zu Modell variieren.
Grenzen der Reichweite des Ergebnisses
Die Ergebnisse für die behandelten Clips wurden an Mochi ermittelt. Die erhöhte Skala verhält sich bei CogVideoX anders, daher sagt das Paper, die Bedingungen sollten für jedes Modell neu gemessen werden, und übertragbar sei die Demand-Messung. Jedes Fehlerlabel stammt von einem einzigen beurteilenden Modell mit festen schriftlichen Anweisungen. Wiederholungen mit gemeinsamen Seeds, eine Re-Seed-Kontrolle und ein Sweep über fünf Skalen stimmen mit den drei im Paper berichteten Ergebnissen überein.
Die Vorhersagegewinne durch den Demand sind bescheiden, daher sehen die Autoren ihn als Orientierung für die Wahl dessen, was nach einem Fehler zu versuchen ist, nicht als Fehlerdetektor. Bei seltener Komposition liegen aus dem Text gebaute Prädiktoren bei zwei von drei Modellen auf Zufallsniveau, mit AUROC .520 und .523, wobei .500 Zufall bedeutet. Im untersten Demand-Quartil schließt das Intervall für die erhöhte Skala null ein, sodass der Nutzen dort nicht von keinem Effekt zu unterscheiden ist.
Die von den Autoren kartierte Grenze gilt speziell für Korrekturen, die im Update des Classifier-free Guidance wirken, und ob andere Methoden denselben Demand-Schwellenwert befolgen, ist die naheliegende nächste Frage. In der Praxis müsste, wer dies auf einem anderen Modell einsetzt, den Schwellenwert neu messen, bevor er der Zahl .649 traut, die das Paper für Mochi angibt.
Wie wir das erstellt haben
Veröffentlichte ErgebnisseTabelle 2 des Papers: Was der Demand zeigt
Zeilen aus Tabelle 2 des Papers (arXiv-HTML-Version), von unserem Code zellengenau kopiert; ein zweizeiliger Kopf erscheint als „Gruppe: Spalte“; ein leerer Namenszelle wiederholt den Namen darüber. Es sind die eigenen Zahlen der Autoren, kein unabhängiger Test. Die erste Spalte nennt den Tabellenblock der Zeile. Ein Block mit eigenen Spaltennamen wird nicht gezeigt. Zeilen: die ersten 3 von 6. Von 2 Blöcken nicht gezeigt: (b) AUROC-Gewinn durch Hinzufügen von Demand zu allen reinen Text-Prädiktoren (3 Zeilen).
Quellen
Die Quellen, aus denen dieser Artikel geschrieben wurde. Die Links öffnen die Originalseite.



