Runway анонсує GEN-2 — нейромережу для перетворення тексту у відео

Штучний інтелект, який перетворює текст на зображення, є дуже популярним, але перетворення тексту на відео ще чекає свого часу.

Головна ідея цієї технології полягає в тому, що ви можете ввести опис і створити відповідне відео в будь-якому зручному стилі.

Хоча сучасні можливості ще не відповідають цій мрії, для тих, хто цікавиться прогресом технологій, нова модель створення відео з штучним інтелектом Runway (анонсована тут) заслуговує на увагу.

Runway пропонує веб-редактор відео, який спеціалізується на таких інструментах штучного інтелекту, як видалення фону та визначення пози.

Компанія допомогла розробити модель Stable Diffusion із відкритим вихідним кодом для перетворення тексту в зображення, а також анонсувала свою першу модель редагування відео Gen-1 (у лютому).

Gen-1 зосереджувався на трансформації наявного відеоматеріалу, дозволяючи користувачам вводити грубу 3D-анімацію або тремтливий кліп зі смартфона та застосовувати згенероване штучним інтелектом накладання.

Gen-2, для порівняння, має на меті створення відео з нуля, хоча є багато застережень, на які слід звернути увагу.

Зокрема, демонстраційні ролики, якими ділиться Runway, короткі, нестабільні та, звичайно, не фотореалістичні, а доступ обмежений.

Зараз ми можемо оцінити лише демонстраційний ролик Gen-2 та кілька кліпів (більшість із яких вже рекламувалися як частина Gen-1).

Тим не менш, результати захоплюючі, а перспектива використання штучного інтелекту для перетворення тексту на відео — обіцяє як нові творчі можливості, так і нові загрози для дезінформації.

Також варто порівняти роботу Runway з дослідженнями перетворення тексту на відео, якими поділилися гіганти, такі як Meta та Google.

Робота цих компаній є більш просунутою (їхні кліпи, згенеровані штучним інтелектом, довші та згуртованіші), але залишається питання про величезні ресурси, що витрачаються на ці дослідження (команда Runway складається лише з 45 осіб).

Іншими словами, стартапи продовжують виконувати захоплюючу роботу в галузі генеративного штучного інтелекту, включаючи ще недосліджену територію перетворення тексту на відео. Незабаром очікуйте більше відео, створених штучним інтелектом.