Un articolo su arXiv sui fallimenti del text-to-video riferisce che su Mochi, aumentare la guidance scale ripara .649 dei fallimenti quando un punteggio di domanda supera una soglia stimata, e .385 sotto di essa (arXiv). Sotto la soglia la scala funziona più o meno come generare di nuovo, e gli autori affermano che lì DCR è la scelta migliore. Per chi lavora sul campo il punto è il triage: il punteggio si legge presto nel denoising, quindi può orientare la scelta della correzione dopo il fallimento di un clip (arXiv).
Che cos’è il punteggio di domanda
Gli autori definiscono la domanda come un punteggio di quanto intensamente il denoiser reagisce alla parte del prompt che un video fallito tralascia. Si può leggere dal primo quarto del denoising, prima che esista qualsiasi video. Secondo l’articolo, il punteggio costa circa un quarto del calcolo di un video.
L’articolo enuncia una condizione per cui una scala maggiore aiuta: il prompt non deve contenere negazioni né eventi legati a un momento specifico, e la domanda deve essere sufficientemente alta. Così un’abitudine vaga di regolazione diventa una regola verificabile prompt per prompt.
Dove una scala più alta non serve a nulla
Su Mochi, aumentare la guidance scale riduce il tasso di fallimento della composizione rara da .472 a .297, ma non aiuta con le negazioni né con i prompt temporali. Sui prompt temporali, aumentare la scala non produce nulla nei dati degli autori: il tasso di fallimento passa da .495 a .527 (p=.32). Per i prompt con negazione l’articolo offre una spiegazione del debole recupero: la reazione del modello potrebbe puntare verso l’oggetto menzionato anziché allontanarsene, quindi nominare dei veicoli può renderli più probabili anche dopo la parola no. Secondo gli autori, una scala maggiore non può invertire la direzione di quella reazione.
Per la negazione, l’articolo indica un tipo diverso di correzione, che si allontana dal contenuto indesiderato. Sui prompt con negazione di Mochi, NEGATE ripara il 50,0% dei fallimenti.
Cosa mostra la Tabella 2 su tre modelli
| Blocco della tabella | Negazione | Composizione rara | Temporale | Pagina di origine | |
|---|---|---|---|---|---|
| (a) Correlation between demand and failure, within each failure type | Mochi | +0.092 | -0.176 | -0.116 | https://arxiv.org/html/2611.23025 |
| (a) Correlation between demand and failure, within each failure type | HunyuanVideo | +0.290 | -0.345 | -0.267 | https://arxiv.org/html/2611.23025 |
| (a) Correlation between demand and failure, within each failure type | CogVideoX | +0.148 | -0.070 | -0.043 | https://arxiv.org/html/2611.23025 |
La tabella riporta la correlazione tra fallimento e domanda all’interno di ciascun tipo di fallimento, per Mochi, HunyuanVideo e CogVideoX. I prompt con negazione che falliscono hanno una domanda più alta di quelli che riescono, mentre i prompt di composizione rara e temporali che falliscono hanno una domanda più bassa, e la direzione è la stessa su tutti e tre i modelli. La correlazione per la negazione va da +0,092 su Mochi a +0,290 su HunyuanVideo. L’inversione di segno tra la negazione e gli altri due tipi è ciò che rende la domanda utilizzabile come guida: un punteggio alto è una buona notizia per la composizione rara ma un segnale d’allarme per la negazione. Le correlazioni non sono grandi, e CogVideoX è il caso più debole, con +0,148 per la negazione, -0,070 per la composizione rara e -0,043 per i prompt temporali. HunyuanVideo mostra i valori più forti, come -0,345 per la composizione rara, contro -0,176 su Mochi.
Gli autori riferiscono inoltre che un punteggio di domanda misurato su un modello prevede i fallimenti non trattati di un altro più o meno bene quanto il punteggio del secondo modello stesso. L’articolo aggiunge che le circostanze in cui una scala maggiore aiuta variano da un modello all’altro.
Limiti della portata del risultato
I risultati sui clip trattati sono stati stabiliti su Mochi. La scala aumentata si comporta in modo diverso su CogVideoX, quindi l’articolo afferma che le condizioni vanno misurate di nuovo su ciascun modello, e ciò che si trasferisce è la misura della domanda. Ogni etichetta di fallimento proviene da un unico modello giudice con istruzioni scritte fisse. Ripetizioni con seed condivisi, un controllo con nuovo seed e una scansione su cinque scale concordano con i tre esiti riportati dall’articolo.
I guadagni predittivi della domanda sono modesti, quindi gli autori la trattano come una guida per scegliere cosa provare dopo un fallimento, non come un rilevatore di fallimenti. Nella composizione rara, i predittori costruiti sul testo sono al livello del caso su due modelli su tre, con AUROC .520 e .523, dove .500 è il livello del caso. Nel quartile più basso di domanda l’intervallo per la scala aumentata include lo zero, quindi il beneficio lì non si distingue dall’assenza di effetto.
Il confine tracciato dagli autori è specifico delle correzioni che agiscono nell’aggiornamento del classifier-free guidance, e se altri metodi rispettino la stessa soglia di domanda è la domanda successiva più naturale. In pratica, chi lo usasse su un altro modello dovrebbe misurare di nuovo la soglia prima di fidarsi della cifra .649, che l’articolo riporta per Mochi.
Come l'abbiamo costruito
Risultati pubblicatiTabella 2 dell'articolo: che cosa mostra la domanda
Righe della Tabella 2 dell'articolo (versione HTML su arXiv), copiate cella per cella dal nostro codice; un'intestazione su due righe appare come "gruppo: colonna"; una cella del nome vuota ripete il nome sopra. Sono cifre degli autori, non un test indipendente. La prima colonna è il blocco della tabella in cui si trova la riga. Un blocco con nomi di colonna propri non è mostrato. Righe: le prime 3 di 6. Dei 2 blocchi, non mostrato: (b) AUROC guadagnato aggiungendo la domanda a tutti i predittori basati solo sul testo (3 righe).
Fonti
Le fonti da cui è stato scritto questo articolo. I link aprono la pagina originale.



