Ein neues arXiv-Paper zu Diffusions-Video-Inpainting und Objektentfernung berichtet, dass der trainingsfreie Sampler evidence-guided sampling (EGS) auf dem zurückgehaltenen DAVIS-Satz 43 % und 56 % der Lücke zu einer Kopier-Referenz schließt, wenn seine Farben aus Tracks des sauberen Videos stammen (arXiv). Für Praktiker heißt das: Der Hauptgewinn hängt von Evidenz aus dem sauberen Video ab, die bei einer realen Entfernung nicht vorliegt; die Oracle-Werte sind daher als Obergrenze dessen zu lesen, was die Methode leistet.
Eine Metrik, die das Rückgewinnbare trennt
Die Autoren schlagen eine nach Rückgewinnbarkeit stratifizierte Bewertung vor: Ein auf dem sauberen Video laufender Punkt-Tracker markiert jedes Pixel der Lücke danach, ob es anderswo im Clip beobachtet wird und wie weit entfernt. Treue und zeitliche Stabilität werden dann pro Stratum gegen eine Kopier-Referenz berichtet, statt als ein Mittelwert über die gesamte Lücke. Das ist wichtig, weil ein einzelner Wert Pixel, die anderswo im Video vorhanden sind, mit Pixeln vermischt, die erfunden werden müssen, und beide Fälle unterschiedliche Beurteilungen verlangen.
Laut dem Paper ist der Warping-Fehler der Diffusions-Entferner auf DAVIS in der Lücke zwei- bis viermal so hoch wie der von ProPainter. Es heißt außerdem, dass das Kopieren entlang von Tracks des sauberen Videos den rückgewinnbaren LPIPS der Diffusions-Entferner um ein Viertel bis zwei Fünftel senkt. Zusammen deuten diese Ergebnisse darauf hin, dass die Diffusions-Entferner nutzbare Evidenz aus anderen Frames ungenutzt lassen und zeitlich weniger stabil sind als propagationsbasierte Methoden.
Was EGS leistet und woher die Evidenz stammt
EGS mischt getrackte Farben in die Vorhersage des sauberen Latents eines Video-Diffusions-Entferners und benötigt kein Training. Mit Oracle-Evidenz aus Tracks des sauberen Videos schließt EGS laut Paper 43 % und 56 % der Lücke zur Kopier-Referenz auf dem zurückgehaltenen DAVIS-Satz. Da diese Zahlen EGS mit Oracle-Evidenz beschreiben, zeigen sie den besten Fall und keine einsetzbare Pipeline. Das Paper vermutet nur, dass getrackte Farben den Gewinn begrenzen, und sagt, ein gepaartes Intervall auf der Differenz zwischen den Läufen würde dies prüfen (arXiv).
Evaluationsdaten und ein Vorbehalt zum Warping-Fehler
Der Evaluationsaufbau nutzt DAVIS, das 50 Clips mit den E2FGVI-Testmasken liefert und das Originalvideo als Ground Truth verwendet. Außerdem wird PROVE-M genutzt, das 80 reale gepaarte Aufnahmen bietet. Zu PROVE-M merkt das Paper an, dass die Masken das Objekt abdecken, nicht aber dessen Schatten und Reflexionen.
Das Paper warnt zudem davor, den Warping-Fehler als reinen Qualitätswert zu lesen. Der Warping-Fehler von ProPainter auf nicht rückgewinnbaren Pixeln beträgt 0,71 und liegt unter dem Ground-Truth-Wert von 1,47; das Paper deutet dies so, dass ein Teil des Kontrasts auf Überglättung durch Propagation zurückgeht. Ein niedrigerer Warping-Fehler kann also ebenso von Unschärfe wie von Stabilität herrühren, weshalb die Lücke vom Zwei- bis Vierfachen mit diesem Vorbehalt zu lesen ist.
Preise kommerzieller APIs zum Vergleich
| Tool und Modell | Preis | Auflösung | Clip-Länge | Quellseite |
|---|---|---|---|---|
| MiniMax (Hailuo / H3 video): MiniMax-H3-Regeneration | $0.05 (Output Video per second) | 768P → 2K | — | https://platform.minimax.io/docs/pricing/overview.md |
| MiniMax (Hailuo / H3 video): MiniMax-H3-Context-IR | $0.90 (Input Price per M tokens) | — | — | https://platform.minimax.io/docs/pricing/overview.md |
| MiniMax (Hailuo / H3 video): MiniMax-Hailuo-2.3-Fast | $0.19 per 768P, 6s video | 768P | 6s | https://platform.minimax.io/docs/pricing/overview.md |
| Runway API: aleph2 | 28 credits per second (56 credit minimum per generation) | — | — | https://docs.dev.runwayml.com/guides/pricing/ |
| Runway API: gen4.5 | 12 credits per second | — | — | https://docs.dev.runwayml.com/guides/pricing/ |
| Runway API: gen4_turbo | 5 credits per second | — | — | https://docs.dev.runwayml.com/guides/pricing/ |

Die Tabelle listet Preise von den offiziellen Seiten von MiniMax und Runway; dies sind kommerzielle Dienste, getrennt von den im Paper evaluierten Forschungs-Entfernern, und dienen nur als Preisreferenz für Leser, die gehostete Videotools abwägen. MiniMax berechnet für sein Modell H3-Regeneration 0,05 $ pro Sekunde Ausgabevideo, wobei die Auflösung mit 768P → 2K angegeben ist. Das Modell MiniMax-Hailuo-2.3-Fast kostet 0,19 $ pro 768P-Video mit 6 s. Die API von Runway berechnet für aleph2 28 Credits pro Sekunde, mit einem Minimum von 56 Credits pro Generierung. Dieselbe Runway-Seite nennt für gen4.5 12 Credits pro Sekunde und für gen4_turbo 5 Credits pro Sekunde. Die MiniMax-Zeilen verwenden Dollar pro Ausgabesekunde, pro Clip oder pro Million Eingabe-Tokens, während Runway in Credits pro Sekunde abrechnet; die Zeilen lassen sich daher ohne einen Credit-Dollar-Kurs nicht direkt ordnen. In Runways eigener Liste kostet aleph2 mit 28 Credits pro Sekunde pro Sekunde mehr als gen4_turbo mit 5 Credits pro Sekunde, was zeigt, wie stark sich die Stufen innerhalb eines Anbieters unterscheiden.
Was die gelesenen Quellen nicht angeben
Wir prüfen bei jeder Meldung sechs Angaben im vollständigen Text jeder Quelle. Die unter Quellen genannten Seiten nennen einen Preis oder Hardwareanforderungen nicht.
Wie wir das erstellt haben
Preise und SpezifikationenPreise und Spezifikationen auf den offiziellen Seiten von MiniMax und Runway
Preise und Spezifikationen, von unserem Code aus den offiziellen Preis- und Dokumentationsseiten des Tools und seiner direkten Wettbewerber (gleiche Kategorie, feste Liste) gelesen, mit Seitenadresse und Quellzeile je Zelle, höchstens drei Zeilen pro Tool. Leere Zellen bedeuten, dass die Seite die Angabe nicht nennt.
Quellen
Die Quellen, aus denen dieser Artikel geschrieben wurde. Die Links öffnen die Originalseite.
- arXivRecoverability-Aware Evaluation of Diffusion Video Inpainting and Object Removalarxiv.org
- arXivRecoverability-Aware Evaluation of Diffusion Video Inpainting and Object Removalarxiv.org
- platform.minimax.ioMiniMax (Hailuo / H3 video): official pricingplatform.minimax.io
- docs.dev.runwayml.comRunway API: official pricingdocs.dev.runwayml.com


