Strumento video AI open source per tutti | Intelligenza-Artificiale

Alibaba Ha svelato Wan2.1 VACE, un modello AI open source progettato per scuotere il modo in cui creiamo e modifichiamo i video.

VACE non appare dal nulla; Fa parte della più ampia famiglia Wan2.1 di Alibaba Modelli di AI. E stanno facendo una pretesa piuttosto audace per questo, affermando che è il “primo modello open source nel settore a fornire una soluzione unificata per varie attività di generazione di video e modifiche”.

Se Alibaba può riuscire a spostare gli utenti dal dover destreggiarsi tra più strumenti separati verso un hub aerodinamico, potrebbe essere un vero cambiamento di gioco.

Allora, cosa può effettivamente fare questa cosa? Bene, per cominciare, può montare video utilizzando tutti i tipi di istruzioni, inclusi comandi di testo, immagini fisse e persino frammenti di altri video clip.

Ma non si tratta solo di realizzare video da zero. Il toolkit di modifica supporta immagini di riferimento o fotogrammi specifici per guidare l'IA, video avanzato “riverniciando” (più su quello in un secondo), modificando i bit selezionati del tuo video esistente e persino allungare il video. Alibaba ritiene che queste caratteristiche “consentono alla combinazione flessibile di vari compiti di migliorare la creatività”.

Immagina di voler creare un video con personaggi specifici che interagiscono, forse in base ad alcune foto che hai. VACE afferma di poterlo fare. Hai un'immagine fissa che desideri fosse dinamica? Il modello AI open source di Alibaba può aggiungere un movimento dall'aspetto naturale per dargli vita.

Per coloro che amano perfezionare, ci sono quelle funzioni avanzate di “riverniciatura video” che ho citato in precedenza. Ciò include cose come il trasferimento di pose da un soggetto a un altro, con un controllo preciso sul movimento, regolare la percezione della profondità e persino cambiare i colori.

Una caratteristica che ha attirato la mia attenzione è la sua capacità di “supportare l'aggiunta, la modifica o la cancellazione a aree specifiche selettive di un video senza influire sull'ambiente circostante”. Questo è un vantaggio enorme per le modifiche dettagliate: non più casino per caso quando stai solo cercando di modificare un piccolo elemento. Inoltre, può rendere la tua tela video più grande e persino riempire il nuovo spazio con contenuti pertinenti per rendere tutto più ricco e più ampio.

Potresti scattare una fotografia piatta, trasformarla in un video e dire agli oggetti esattamente come muoversi estraendo un percorso. Hai bisogno di scambiare un personaggio o un oggetto con qualcos'altro che fornisci come riferimento? Nessun problema. Animare quei personaggi di riferimento? Fatto. Controllare la loro posa con precisione? Ce l'hai.

Alibaba fornisce persino l'esempio del suo modello di intelligenza artificiale open source che prende un'immagine verticale alta e magra e espandendola abilmente lateralmente in un video widescreen, aggiungendo automogicamente nuovi bit e pezzi facendo riferimento ad altre immagini o suggerimenti. È abbastanza pulito.

Certo, VACE non è solo magico. C'è un po 'di tecnologia intelligente coinvolta, progettata per gestire la realtà spesso messa del montaggio video. Un pezzo chiave è qualcosa che Alibaba chiama l'unità di condizione video (VCU), che “supporta l'elaborazione unificata di input multimodali come testo, immagini, video e maschere”.

Poi c'è ciò che chiamano una “struttura dell'adattatore di contesto”. Questo intelligente ingegneria “inietta vari concetti di attività usando rappresentazioni formalizzate di dimensioni temporali e spaziali”. In sostanza, pensa a dare all'IA una buona comprensione del tempo e dello spazio all'interno del video.

Con tutta questa tecnologia intelligente, Alibaba ritiene che il VACE sarà un successo in alcune aree. Pensa a rapide clip di social media, annunci accattivanti e contenuti di marketing, effetti speciali post-produzione per film e TV e persino per generare video educativi e di formazione personalizzati.

Alibaba produce open source wan2.1 per diffondere l'amore AI

Costruire modelli di intelligenza artificiale questo potente di solito costa una fortuna e ha bisogno di enormi potenza di calcolo e tonnellate di dati. Quindi, Alibaba che fa open source wan2.1-vace? È un grosso problema.

“Accesso aperto aiuta a ridurre la barriera per più aziende a sfruttare l'IA, consentendo loro di creare contenuti visivi di alta qualità su misura per le loro esigenze, in modo rapido ed economico”, spiega Alibaba.

Fondamentalmente, Alibaba spera di lasciare che più persone-in particolare le imprese più piccole e i singoli creatori-mettano le mani sull'intelligenza artificiale di alto livello senza rompere la banca. Questa democratizzazione di potenti strumenti è sempre uno spettacolo gradito.

E non stanno solo lasciando cadere una versione. C'è un pesante modello di parametro di 14 miliardi per quelli con una potenza grave e un parametro più agile da 1,3 miliardi di 1 miliardo per configurazioni più leggere. Puoi afferrarli gratuitamente in questo momento su abbraccio Face e Github, o tramite la comunità open source di Alibaba Cloud, ModelScope.

(Fonte dell'immagine: www.alibabagroup.com)

Vedi anche: US Slams frena sulla regola di diffusione dell'IA, indurisce i cordoli di esportazione di chip

Vuoi saperne di più sull'intelligenza artificiale e sui big da parte dei leader del settore? Guardare AI e Big Data Expo si svolge ad Amsterdam, in California e a Londra. L'evento completo è co-localizzato con altri eventi principali tra cui Conferenza di automazione intelligente, Blockx, Settimana di trasformazione digitaleE Cyber ​​Security & Cloud Expo.

Esplora altri prossimi eventi tecnologici aziendali e webinar alimentati da TechForge Qui.