Stable Video 3D: video in 2D da un'immagine
SV3D (per esteso Stable Video 3D) è un nuovo modello generativo dedicato alla produzione di filmati e creato dagli sviluppatori di Stability AI, gli stessi di Stable Diffusion e Stable Video Diffusion. Si tratta di una soluzione di tipo image-to-video che partendo da un'immagine statica riesce a creare un contenuto filmato in 3 dimensioni.
Tecnicamente parliamo di un'evoluzione del progetto chiamato Stable Zero123 che venne presentato per la prima volta alla fine dello scorso anno. Per il momento non è una soluzione disponibile al grande pubblico, può essere però utilizzato tramite la formula Professional Membership che prevede un abbonamento pari a 20 euro mensili.
Per quanto riguarda gli output generati da SV3D, attualmente il sistema è in grado di generare video con una risoluzione pari a 576x576 pixel, quindi non particolarmente elevata, per un totale di 21 fotogrammi. I risultati migliori sono ottenibili utilizzando come input il file di un'immagine da 576x576 px con sfondo bianco in cui è presente un unico oggetto.
Today, we are releasing Stable Video 3D, a generative model based on Stable Video Diffusion. This new model advances the field of 3D technology, delivering greatly improved quality and multi-view.
The model is available now for commercial and non-commercial use with a Stability… pic.twitter.com/cc5T9RRH3L
— Stability AI (@StabilityAI) March 18, 2024
L'output ottenuto tramite SV3D supporta naturalmente la rotazione, le prime demo mostrate al momento del lancio mostrano una notevole fluidità in fase di riproduzione. Sono rilevabili alcune leggere distorsioni ma è bene tenere conto che il modello sarà in grado di migliorare ulteriormente proprio grazie all'addestramento derivante dall'uso.
Stability AI ha deciso di rendere disponibile SV3D in due versioni differenti che prendono il nome di SV3D_u e SV3D_p. Il primo è stato concepito principalmente per la realizzazione di video orbitali basati su una sola immagine di input, il secondo è stato implementato per tenere in considerazione il percorso da seguire a partire da un'inquadratura.