OpenAI представила миру свою новейшую мощную модель искусственного интеллекта GPT-4 и, первое, что они объединили в своих новых возможностях – это помощь людям с нарушениями зрения. Be My Eyes, которая позволяет слепым и слабовидящим людям просить зрячих людей описать, что видит их телефон, получает «виртуального волонтера», который в любое время предлагает помощь на базе искусственного интеллекта.
Впервые Be My Eyes был запущен в 2015 году и с тех пор компания постоянно дорабатывает программу, которая помогает слабовидящим легче ориентироваться в повседневной жизни. Правда, пока само приложение может сделать не так много, и основной функцией остается возможность получить помощь от волонтера, который может просматривать изображение с камеры вашего телефона и давать подробные описания или инструкции.
Новая версия приложения является первой, в которой интегрированы мультимодальные возможности GPT-4, то есть его способность не только внятно общаться в чате, но и проверять и понимать полученные изображения.
Теперь, пользователи могут отправлять изображения через приложение виртуальному волонтеру с искусственным интеллектом, который ответит на любой вопрос об этом изображении и предоставит мгновенную визуальную помощь для самых разных задач.
Be My Eyes способна описывать предметы, определять их тип, читать карты, делать перевод, ориентировать собеседника и подсказывать какие клавиши нажимать.
Например, если пользователь отправит фотографию своего холодильника изнутри, виртуальный волонтер сможет не только правильно определить, что в нем находится, но и экстраполировать и проанализировать, что можно приготовить из этих ингредиентов. Инструмент также может предложить ряд рецептов для этих ингредиентов и отправить пошаговое руководство по их приготовлению.
