Un nuovo articolo su arXiv sull’inpainting video con modelli di diffusione e sulla rimozione di oggetti afferma che il suo sampler senza training, l’evidence-guided sampling (EGS), colma il 43% e il 56% del divario rispetto a un riferimento di copia su DAVIS held-out, quando i colori provengono dalle tracce del video pulito (arXiv). Per chi lavora sul campo, il punto è che il guadagno principale dipende da un’evidenza del video pulito che un vero lavoro di rimozione non ha, quindi i valori oracolo vanno letti come un limite superiore di ciò che il metodo offre.
Una metrica che separa ciò che si può recuperare
Gli autori propongono una valutazione stratificata per recuperabilità, in cui un point tracker applicato al video pulito etichetta ogni pixel del buco in base al fatto che sia osservato altrove nella clip e a quale distanza. Fedeltà e stabilità temporale vengono poi riportate per strato rispetto a un riferimento di copia, invece che come un’unica media sull’intero buco. Questo conta perché un singolo punteggio mescola pixel che esistono altrove nel video con pixel che vanno inventati, e i due casi richiedono giudizi diversi.
Secondo l’articolo, l’errore di warping sul buco in DAVIS dei modelli di rimozione basati su diffusione è da due a quattro volte quello di ProPainter. Aggiunge che copiare lungo le tracce del video pulito riduce l’LPIPS recuperabile di questi modelli da un quarto a due quinti. Letti insieme, questi risultati suggeriscono che i modelli di rimozione basati su diffusione lasciano inutilizzata evidenza utile proveniente da altri fotogrammi e che sono meno stabili nel tempo dei metodi basati sulla propagazione.
Cosa fa EGS e da dove viene l’evidenza
EGS integra i colori tracciati nella predizione del latente pulito di un modello di rimozione video basato su diffusione e non richiede training. Con l’evidenza oracolo delle tracce del video pulito, secondo l’articolo EGS colma il 43% e il 56% del divario rispetto al riferimento di copia su DAVIS held-out. Poiché quei valori descrivono EGS con evidenza oracolo, mostrano il caso migliore e non una pipeline utilizzabile in produzione. L’articolo si limita a ipotizzare che i colori tracciati limitino il guadagno e afferma che un intervallo appaiato sulla differenza tra le esecuzioni metterebbe alla prova questa ipotesi (arXiv).
Dati di valutazione e una cautela sull’errore di warping
L’impianto di valutazione usa DAVIS, che fornisce 50 clip con le maschere di test di E2FGVI e assume il video originale come ground truth. Usa inoltre PROVE-M, che fornisce 80 acquisizioni reali accoppiate. Su PROVE-M, l’articolo osserva che le maschere coprono l’oggetto ma non le sue ombre e i suoi riflessi.
L’articolo avverte anche di non interpretare l’errore di warping come un puro punteggio di qualità. L’errore di warping dei pixel non recuperabili di ProPainter è 0,71, inferiore al valore di ground truth di 1,47, e l’articolo lo interpreta nel senso che parte del contrasto riflette un eccesso di smussamento dovuto alla propagazione. Un errore di warping più basso può quindi derivare dalla sfocatura oltre che dalla stabilità, perciò il divario da due a quattro volte va letto tenendone conto.
Prezzi delle API commerciali a confronto
| Strumento e modello | Prezzo | Risoluzione | Durata della clip | Pagina della fonte |
|---|---|---|---|---|
| MiniMax (Hailuo / H3 video): MiniMax-H3-Regeneration | $0.05 (Output Video per second) | 768P → 2K | — | https://platform.minimax.io/docs/pricing/overview.md |
| MiniMax (Hailuo / H3 video): MiniMax-H3-Context-IR | $0.90 (Input Price per M tokens) | — | — | https://platform.minimax.io/docs/pricing/overview.md |
| MiniMax (Hailuo / H3 video): MiniMax-Hailuo-2.3-Fast | $0.19 per 768P, 6s video | 768P | 6s | https://platform.minimax.io/docs/pricing/overview.md |
| Runway API: aleph2 | 28 credits per second (56 credit minimum per generation) | — | — | https://docs.dev.runwayml.com/guides/pricing/ |
| Runway API: gen4.5 | 12 credits per second | — | — | https://docs.dev.runwayml.com/guides/pricing/ |
| Runway API: gen4_turbo | 5 credits per second | — | — | https://docs.dev.runwayml.com/guides/pricing/ |

La tabella riporta i prezzi delle pagine ufficiali di MiniMax e Runway; si tratta di servizi commerciali, distinti dai modelli di rimozione di ricerca valutati nell’articolo, e sono indicati solo come riferimento di prezzo per chi valuta strumenti video in hosting. MiniMax propone il modello H3-Regeneration a 0,05 $ per secondo di video in output, con risoluzione indicata come 768P → 2K. Il modello MiniMax-Hailuo-2.3-Fast costa 0,19 $ per un video da 768P, 6s. L’API di Runway addebita 28 crediti al secondo per aleph2, con un minimo di 56 crediti per generazione. La stessa pagina di Runway indica gen4.5 a 12 crediti al secondo e gen4_turbo a 5 crediti al secondo. Le righe di MiniMax usano dollari per secondo di output, per clip o per milione di token in input, mentre Runway fattura in crediti al secondo, quindi le righe non si possono ordinare direttamente senza un tasso di cambio tra crediti e dollari. Nell’elenco di Runway, aleph2 a 28 crediti al secondo costa più al secondo di gen4_turbo a 5 crediti al secondo, il che mostra quanto i livelli possano differire all’interno di uno stesso fornitore.
Cosa non indicano le fonti che abbiamo letto
Controlliamo sei dati in ogni storia nel testo completo di ogni fonte. Le pagine elencate tra le fonti non indicano un prezzo né requisiti hardware.
Come l'abbiamo costruito
Prezzi e specifichePrezzi e specifiche dalle pagine ufficiali di MiniMax e Runway
Prezzi e specifiche letti dal nostro codice dalle pagine ufficiali di prezzi e documentazione dello strumento e dei suoi concorrenti diretti (stessa categoria, elenco fisso), con indirizzo della pagina e riga della fonte per ogni cella, al massimo tre righe per strumento. Le celle vuote indicano che la pagina non riporta il dato.
Fonti
Le fonti da cui è stato scritto questo articolo. I link aprono la pagina originale.
- arXivRecoverability-Aware Evaluation of Diffusion Video Inpainting and Object Removalarxiv.org
- arXivRecoverability-Aware Evaluation of Diffusion Video Inpainting and Object Removalarxiv.org
- platform.minimax.ioMiniMax (Hailuo / H3 video): official pricingplatform.minimax.io
- docs.dev.runwayml.comRunway API: official pricingdocs.dev.runwayml.com



