Блог

GPT-4 забезпечить «віртуального волонтера» для людей із вадами зору

16/3/23

З 2012 року компанія Be My Eyes допомогає своїй спільноті, яка налічує понад 250 мільйонів людей. Вони допомагають людям зі слабким зіром або незрячим знаходити волонтерів, які допомагають виконувати повсякденні завдання, такі як визначення продуктів і орієнтування в аеропорту.

Додаток від Be My Eyes запущений у 2015 році та є важливим інструментом для допомоги людям із вадами зору в повсякденному житті.

Компанія планує інтеграцію нової моделі ChatGPT версії GPT-4 в додаток Virtual Volunteer™, після чого він зможе генерувати той самий рівень контексту та розуміння, що й людина-волонтер.

Якщо ви або хтось із ваших знайомих є сліпим і бажаєте потрапити в список очікування для тестування інструменту віртуального волонтера, ви можете зареєструватися тут у списку очікування.

Завантажити для iOS (Доступний список очікування)

Завантажити для Android (Список очікування незабаром)

Користувачі можуть надсилати зображення через програму віртуальному волонтеру на основі штучного інтелекту, який відповість на будь-яке запитання щодо цього зображення та надасть миттєву візуальну допомогу для багатьох завдань.

Відео — Be My Eyes, Virtual Volunteer

У цьому відео користувачка Be My Eyes Люсі демонструє, як додаток може допомогти знайти різні речі швидко та легко.

Virtual Volunteer може описати одяг та допомогти вам обрати наряд для виходу в люди.
Virtual Volunteer може ідентифікувати рослини, які знаходяться перед ним.
Virtual Volunteer може допомогти обрати, які кнопки потрібно натиснути на торговому автоматі.
Virtual Volunteer може перекласти етикетку на продуктах у супермаркеті.
Virtual Volunteer може описати модний наряд з журналу.
Virtual Volunteer може зчитати меню у ресторані.
Virtual Volunteer може направити до бігової доріжки в тренажерному залі.
Virtual Volunteer може читати карту та схему переходів у метро чи залізниці.

Є випадок в компанії Be My Eyes, коли користувач, можливо навіть незряча людина, зміг орієнтуватися в залізничній системі за допомогою додатка. Він отримав детальну інформацію про те, де він знаходиться на карті та як безпечно дістатися туди, куди хотів.

Програми зчитування екрану, які вбудовані в більшість сучасних операційних систем, читають текст рядок за рядком, розділ за розділом. Для людини, яка не бачить, може бути важче зрозуміти, що відображається на екрані. Зображення можуть бути ще гіршими.

Тепер компанія Be My Eyes розробила додаток GPT-4, який може показувати веб-сторінки та знає, що робити з ними. Це може спростити читання новин онлайн та надати людям, які потребують візуальної допомоги, доступ до сторінок в Інтернеті: сайтів покупок та електронної комерції.

GPT-4 може узагальнювати результати пошуку так, як зрячі люди сканують їх, і допомагати зробити правильну покупку в режимі реального часу.

«Це фантастичний розвиток для людства, але це також являє собою величезну комерційну можливість», — каже Баклі

Коли волонтер буде в доступі?

Наразі ця функція тестується, для отримання відгуків серед невеликої частини користувачів. Протягом наступних кількох тижнів вони розширять групу бета-тестерів і сподіваються зробити віртуального волонтера широко доступним у найближчі місяці.

Що далі буде з Be My Eyes?

Be My Eyes прагне постійно вдосконалювати технології та досвід, слухаючи нашу спільноту. Їм важливо мати відгуки, які допоможуть розвивати інструмент Virtual Volunteer відповідно до потреб користувачів. Вони просять користувачів допомагати формувати цю технологію, від розробки нових варіантів використання до створення інтерфейсу.

Усі статті