Графічні дослідження NVIDIA — нова межа для генеративного ШІ

Компанія NVIDIA продемонструє близько 20 дослідницьких робіт на SIGGRAPH — одній з найбільш важливих конференцій з комп'ютерної графіки у році.

NVIDIA оголосила про свої нові розробки у галузі штучного інтелекту та комп'ютерної графіки. Ці дослідження дозволять розробникам та художникам втілювати свої ідеї в життя, незалежно від того, чи це буде статичний, чи рухливий об'єкт, 2D або 3D, реалістичний або фантастичний.

Приблизно 20 наукових робіт NVIDIA, ми розгляено 7 з них, які присвячені генеративному ШІ та нейронній графіці, виконано у співпраці з більш ніж десятьма університетами з США, Європи та Ізраїлю.

Огляд робіт NVIDIA

У доповідях розглянемо генеративні моделі ШІ, інструменти інверсного рендерингу, моделі нейронної фізики та нейронного рендерингу. Вони дозволяють створювати персоналізовані зображення з тексту, перетворювати нерухомі зображення на 3D-об'єкти та симулювати складні 3D-елементи. ШІ допомагає створювати візуальні деталі в реальному часі.

Дослідники NVIDIA діляться інноваціями на GitHub та впроваджують їх у продукти, такі як NVIDIA Omniverse та NVIDIA Picasso - нова ливарня для створення користувацьких генеративних моделей ШІ. Роки досліджень графіки NVIDIA допомогли привнести рендеринг у стилі кіно в ігри, наприклад, випущений нещодавно Cyberpunk 2077 Ray Tracing: Overdrive Mode - перша у світі гра для AAA з трасуванням променів.

Наукові досягнення, представлені на SIGGRAPH цього року, допоможуть розробникам та підприємствам генерувати синтетичні дані для наповнення віртуальних світів для навчання робототехніки та автономних транспортних засобів. Вони також дозволять творцям у галузі мистецтва, архітектури, графічного дизайну, розробки ігор та кіно швидше створювати високоякісні візуальні ефекти.

Особистий підхід: індивідуальні моделі перетворення тексту в зображення

Генеративні моделі штучного інтелекту перетворюють текст на зображення. Це корисний інструмент для створення візуальних образів, таких як концепт-арт, розкадровки відеоігор та віртуальні 3D-світи. З них можна створювати безліч візуальних образів з запиту "дитячі іграшки". Наприклад, м'які іграшки, блоки або пазли.

Художники можуть мати на увазі конкретну тему, таку як рекламна кампанія нового плюшевого ведмедика. Дослідники з Тель-Авівського університету та NVIDIA розробили дві статті SIGGRAPH, які дозволяють користувачам надавати приклади зображень, на яких модель швидко навчається.

(1) Перша робота описує методику, яка використовує одне зображення-приклад для налаштування виводу. Це прискорює процес персоналізації з декількох хвилин до близько 11 секунд на одному графічному процесорі NVIDIA A100 Tensor Core. Це більш ніж в 60 разів швидше, ніж попередні підходи до персоналізації.

(2) Друга робота представляє компактну модель Perfusion, яка використовує кілька концептуальних зображень. Це дозволяє користувачам об'єднувати кілька персоналізованих елементів в єдиний візуальний образ, створений штучним інтелектом.

3D обслуговування: досягнення у створенні персонажів та інверсному рендерингу

Створивши концепт-арт для віртуального світу, творець візуалізує середовище та додає 3D об'єкти та персонажів за допомогою методів ШІ від NVIDIA Research.

Ці методи автоматично перетворюють 2D зображення та відео в 3D. Такі 3D зображення можуть бути імпортовані в графічні програми для подальшого редагування.

(3) Третя робота розповідає про технологію, яка створює фотореалістичну 3D-модель голови і плечей на основі одного 2D-портрета. Це дозволяє створювати 3D-аватари та 3D-відеоконференції за допомогою ШІ в реальному часі.

Цей метод може генерувати фотореалістичну або стилізовану 3D-телеприсутність, використовуючи звичайні веб-камери або камери смартфонів.

(4) У четвертій роботі дослідники створили систему штучного інтелекту, яка може відтворювати реалістичні рухи 3D-персонажів. Симульовані тенісисти можуть точно влучати м'ячем у цільові позиції на віртуальному корті і навіть грати тривалі поєдинки з іншими персонажами. Четверта робота SIGGRAPH присвячена складному завданню створення 3D-персонажів з реалістичними рухами без використання дорогих даних захоплення рухів.

Просто про складне: Нейронна фізика дозволяє реалістичні симуляції без деталей

Для додавання деталей 3D-персонажа, таких як волосся, художникам потрібно вирішити складну задачу обчислення руху кожної з 100 000 волосин на голові персонажа, яка відбувається відповідно до рухів та навколишнього середовища.

Хоча зазвичай використовують фізичні формули для розрахунку руху волосся, це часто обмежує деталізацію. У високобюджетних фільмах рух волосся персонажів має набагато більш деталізований рух, ніж у відеоіграх у реальному часі.

(5) У п'ятій роботі описано метод, який може симулювати рух десятків тисяч волосків з високою роздільною здатністю та в реальному часі, використовуючи нейронну фізику - метод ШІ, що навчає нейронну мережу передбачати рух об'єкта в реальному світі.

Їх команда розробила новий підхід для точної симуляції повномасштабного волосся, що працює значно швидше за найсучасніші розв'язувачі на базі CPU. Це означає, що час моделювання скорочений з кількох днів до кількох годин, а якість моделювання волосся підвищилась в реальному часі. Ця технологія дозволяє забезпечити як точний, так і інтерактивний фізичний догляд за волоссям.

Нейронний рендеринг дозволяє отримати деталізовану графіку кіношної якості в реальному часі

Після наповнення середовища анімаційними 3D об'єктами та персонажами, рендеринг у реальному часі імітує фізику відбиття світла віртуальної сцени. Дослідження NVIDIA показує, як використання моделей ШІ для текстур, матеріалів та об'ємів може створювати фотореалістичні візуальні ефекти кінематографічної якості в реальному часі для відеоігор та цифрових двійників.

NVIDIA винайшла програмоване зафарбовування більше двох десятиліть тому, дозволивши розробникам налаштовувати графічний конвеєр. У своїх останніх винаходах нейронного рендерингу дослідники розширюють код програмованого затінення за допомогою моделей ШІ, які працюють глибоко всередині графічних конвеєрів NVIDIA в реальному часі.

(6) У шостій доповіді на SIGGRAPH компанія NVIDIA представить нейронне стиснення текстур без використання додаткової пам'яті GPU. Це стиснення може підвищити реалістичність 3D сцен. На зображенні нижче можна побачити, як текстури з нейронним стисненням (праворуч) передають більш чіткі деталі, ніж попередні формати, де текст залишається розмитим (в центрі).

NeuralVDB — це техніка стиснення даних за допомогою ШІ дозволяє зменшити в 100 разів пам'ять, потрібну для представлення об'ємних даних, таких як дим, вогонь, хмари та вода.

NVIDIA надала детальну інформацію про дослідження нейронних матеріалів, які були представлені в останній доповіді NVIDIA GTC.

У документі описано систему ШІ, яка вивчає, як світло відбивається від фотореалістичних матеріалів, зменшуючи складність цих об'єктів до невеликих нейронних мереж, що працюють у реальному часі і дозволяють прискорити затінення до 10 разів.

Рівень реалізму можна побачити на прикладі цього чайника з нейронною візуалізацією, який точно відтворює кераміку, недосконалу прозору глазур, відбитки пальців, патьоки і навіть пил.