Stable Video Diffusion (Stability AI): image-to-video open
Modello di diffusione latente per generare brevi clip video a partire da un'immagine, rilasciato in pesi aperti da Stability AI.
Cos'è
Stable Video Diffusion (SVD) è un modello generativo di diffusione latente per video, sviluppato da Stability AI, la stessa casa che ha rilasciato Stable Diffusion per le immagini. A differenza dei modelli di image generation, SVD non produce un singolo fotogramma: riceve in input un'immagine di riferimento e genera una breve sequenza animata, mantenendo coerenza visiva e continuità temporale.
La famiglia include diverse varianti: la versione base addestrata per 14 frame, la versione estesa SVD-XT per 25 frame, entrambe a risoluzione 576×1024 pixel, e successive release come SVD-XT 1.1, che affinano la stabilità del movimento e la qualità complessiva. Il frame rate è personalizzabile, generalmente tra 3 e 30 fps, a seconda dell'implementazione e dell'hardware utilizzato.
A cosa serve
SVD è progettato principalmente per il compito image-to-video: a partire da una fotografia, un rendering 3D o un'illustrazione, genera un breve video che aggiunge movimento, camera pan, zoom o animazioni di oggetti. È utile per:
- Prototipi creativi: animare concept art, mockup di prodotti o storyboard pubblicitari.
- Motion design: creare brevi clip per social media, landing page e presentazioni.
- Visualizzazione di prodotti: dare vita a screenshot, render e-commerce o immagini catalogo.
- Educazione e ricerca: studiare modelli generativi video, bias e tecniche di controllo del movimento.
- Tool creativi: integrazione in pipeline di editing, VFX e post-produzione.
Il modello non è pensato per generare video lunghi o narrazioni complesse, ma per produrre clip brevi e controllabili da usare come elemento di partenza in un workflow professionale.
Come funziona
L'architettura di Stable Video Diffusion parte dal paradigma della latent diffusion, già impiegato in Stable Diffusion 2.1. Il cuore del sistema è un U-Net che, invece di elaborare un singolo fotogramma, viene esteso con layer temporali—convolution e attention—inseriti dopo i blocchi spaziali. In questo modo il modello apprende non solo l'aspetto visivo di ogni frame, ma anche le relazioni tra frame consecutivi. L'aggiunta di meccanismi temporali permette di gestire il movimento, le occlusioni e la coerenza degli oggetti in scena, elementi che un modello puramente spaziale non sarebbe in grado di modellare.
Il flusso di lavoro può essere sintetizzato in quattro passaggi: