LinkedIn China via Weibo

Tekst-do-wideo to kolejny etap rozwoju generatywnej sztucznej inteligencji, choć obecne rezultaty są jeszcze na wczesnym etapie. Runway ogłasza, że w nadchodzących tygodniach udostępni użytkownikom swój nowy model generowania wideo – Gen-2.

Tekst-do-obrazu jest już technologią powszechną, ale czekająca na swoją kolej tekst-do-wideo. Koncepcja polega na tym, że wpisując opis, będziemy mogli wygenerować odpowiednie wideo w dowolnym stylu. Obecne możliwości są jeszcze dalekie od tego celu, ale dla osób śledzących postępy technologii, zapowiedź startupu Runway dotycząca nowego modelu generowania wideo zasługuje na uwagę.

Runway oferuje edytor wideo oparty na przeglądarce, specjalizujący się w narzędziach AI, takich jak usuwanie tła czy detekcja pozy. Firma pomogła opracować open-source’owy model tekst-do-obrazu Stable Diffusion i ogłosiła swój pierwszy model edycji wideo AI, Gen-1, w lutym.

Gen-1 koncentrował się na przekształcaniu istniejących materiałów wideo, umożliwiając użytkownikom wprowadzenie szkicu animacji 3D lub chwiejnego klipu smartfonowego i nałożenie na niego nakładki generowanej przez AI. Gen-2, w porównaniu, wydaje się bardziej skoncentrowany na generowaniu wideo od zera, choć warto zwrócić uwagę na liczne zastrzeżenia. Po pierwsze, udostępnione przez Runway klipy demo są krótkie, niestabilne i zdecydowanie niefotorealistyczne. Po drugie, dostęp jest ograniczony. Bloomberg News informuje, że użytkownicy będą musieli zapisać się na listę oczekujących na Gen-2 poprzez Discord Runway, a rzecznik firmy, Kelsey Rondenet, powiedział The Verge, że Runway zamierza „zapewnić szeroki dostęp w nadchodzących tygodniach”.