Нова функція Spotify «AI DJ» — майбутнє стрімінгу музики

Spotify розширює свої можливості у сфері технологій, які лежать в основі нової функції AI DJ, після успіху серед споживачів.

AI DJ — це персоналізований підбір музики з розмовними коментарями, згенерованими штучним інтелектом. Spotify вважає, що ці нові інструменти можуть мати інші застосування, тому він експериментує з ними.

Оновлений мобільний додаток Spotify Stream On, який зосереджений на стрічках пошуку музики, подкастів та аудіокниг схожих на TikTok, включає штучного діджея.

Штучний діджей від Spotify

Діджей створений для того, щоб пізнати користувачів настільки добре, що може відтворювати все, що ви хочете почути, одним натисканням кнопки.

Для створення коментарів, що супроводжують музику, яку транслює діджей, Spotify використовує власну базу знань та інсайтів музичних експертів.

Використовуючи технологію генеративного штучного інтелекту OpenAI, діджей може масштабувати свої коментарі для кінцевих користувачів додатку.

Spotify гарантує, що коментарі діджея будуть релевантними та точними завдяки обмеженій базі музичних знань.

Як працює AI DJ від Spotify?

Фактична музична добірка, яку обирає діджей, ґрунтується на його розумінні смаків та інтересів користувача, віддзеркалюючи те, що раніше було запрограмовано в персоналізованих плейлистах, таких як Discover Weekly та інших.

Голос штучного діджея був створений за допомогою технології, яку Spotify придбав у Sonatic минулого року, і базується на голосі Ксав'єра «Ікса» Джернігана, керівника відділу культурного партнерства Spotify, ведучого вже неіснуючого ранкового подкасту Spotify «The Get Up».

На диво, голос звучить неймовірно реалістично і зовсім не роботизовано. (Під час прямого ефіру на Spotify Джерніган виступав разом зі своїм двійником зі штучним інтелектом, і різницю було важко помітити. «Я можу слухати свій голос цілий день», - пожартував він).

«Причина, чому це звучить так добре - це, власне, мета технології Sonatic, команди, яку ми придбали. Йдеться про емоції в голосі», - пояснює керівник відділу персоналізації Spotify Зіад Султан.

«Коли ви чуєте діджея зі штучним інтелектом, ви чуєте, де пауза для дихання. Ви почуєте різні інтонації. Ви можете почути захоплення певними типами жанрів», - каже він.

Природний голос ШІ не є чимось новим

Компанія Google вразила світ своєю розробкою штучного інтелекту, що схожий на людський голос, ще кілька років тому. Однак реалізація Duplex викликала критику, оскільки штучний інтелект набирав номери компаній від імені кінцевого користувача, спочатку не розкриваючи, що це не жива людина.

З функцією Spotify не повинно бути подібних занепокоєнь, адже вона навіть називається «штучний діджей».

Щоб голос штучного інтелекту Spotify звучав більш природно, Джерніган відправився в студію для запису високоякісних голосів. Він працював з експертами в галузі голосових технологій і читав різні репліки з різними емоціями. Ці записи потім завантажили в модель штучного інтелекту.

У Spotify не вказують, скільки часу займає цей процес і не розповідають про деталі, називаючи його своїм «секретним соусом».

«З цього високоякісного входу, який має багато різних перестановок, [Джернігану] більше не потрібно нічого говорити - тепер це чисто штучний голос», - говорить Султан про згенерований голос.

Проте, інколи Джерніган займає кімнату авторів Spotify, щоб залишити відгук про те, як він прочитав той або інший рядок, щоб переконатися, що продовжує працювати. Будь ласка, не забувайте, що ви робите чудову роботу!

Які технології використовує AI DJ від Spotify?

Але хоча AI DJ створений з використанням комбінації технологій Sonantic і OpenAI, Spotify також інвестує у власні дослідження, щоб краще зрозуміти останні досягнення в галузі штучного інтелекту і великих мовних моделей.

«У нас є дослідницька група, яка працює над новітніми мовними моделями», - пояснює керівник відділу персоналізації Spotify Зіад Султан.

«Вона налічує кілька сотень людей, які працюють над персоналізацією та машинним навчанням. У випадку з AI DJ команда використовує модель OpenAI», — зазначає Султан.

«Але загалом у нас є велика дослідницька команда, яка вивчає всі можливості великих мовних моделей, генеративного голосу, персоналізації. Це швидко розвивається. Ми хочемо бути відомими завдяки нашій експертизі в галузі штучного інтелекту», - каже він.

Однак Spotify може використовувати власну технологію штучного інтелекту для майбутніх розробок, а може і не використовувати її. Можливо, він вирішить, що доцільніше працювати з партнером, як це відбувається зараз з OpenAI. Але про це ще рано говорити.

«Ми постійно публікуємо статті. Ми будемо інвестувати в новітні технології — як ви можете собі уявити, в цій галузі магістр права є такою технологією. Тож ми будемо розвивати експертизу», - каже керівник відділу персоналізації Spotify Зіад Султан.

Завдяки цій основній технології Spotify може розширити свої можливості в інших сферах, пов'язаних зі штучним інтелектом, магістерськими програмами та технологіями генеративного штучного інтелекту. Про те, які саме ці сфери можуть стосуватися продуктів для споживачів, компанія поки не повідомляє. Ми чули, що серед можливих варіантів експериментів є чат-бот, який нагадує ChatGPT. Проте, ще не вирішено, чи саме це буде запущено, оскільки це тільки один із багатьох експериментів.

«Ми не оголошували точних планів щодо того, коли ми можемо вийти на нові ринки, нові мови тощо. Але це технологія, яка є платформою. Ми можемо це зробити і сподіваємося ділитися більше, коли вона розвиватиметься», - каже Султан.

Ранні відгуки споживачів про ШІ, які надійшли до Spotify, вказують на його яскраве майбутнє

Компанія не знала, як люди відреагують на діджея зі штучним інтелектом, тому не хотіла створювати повний набір продуктів. Вони провели тестування серед своїх співробітників і отримали дуже хороші результати. За словами Султана, суспільне сприйняття діджеїв на Spotify збігається з внутрішніми даними компанії, що дає потенціал для створення нових продуктів на тих же засадах.

«Люди проводять години на день з цим продуктом... він допомагає їм з вибором, з відкриттями, він розповідає їм, яку музику їм варто послухати, і пояснює, чому... тому реакція - якщо ви перевірите різні соціальні мережі, ви побачите, що вона дуже позитивна, емоційна», - каже керівник відділу персоналізації Spotify Зіад Султан.

Крім того, Spotify повідомив, що користувачі проводять 25% свого часу за прослуховуванням разом з діджеєм в дні, коли вони підключаються, та більше половини слухачів, які вперше скористалися функцією, повернулися до неї наступного дня. Ці показники є передчасними, оскільки функція ще не на 100% розгорнута в США та Канаді, але вони є відмінними, вважає компанія.

«Я вважаю, що це чудовий крок у побудові відносин між дійсно цінними продуктами та користувачами», - каже Султан.

Але він застерігає, що наступним завданням буде «знайти правильний додаток, а потім правильно його побудувати».

«У цьому випадку ми сказали, що це штучний діджей для музики. Ми створили для нього кімнату авторів. Ми віддали його в руки користувачів, щоб він виконував саме ту роботу, для якої призначений. Він працює дуже добре. Але, безумовно, цікаво мріяти про те, що ще ми могли б зробити і як швидко ми могли б це зробити», - додає він.