Gemini научили в реальном времени «видеть» за пользователя и подсказывать, куда направить камеру

👁️ Gemini научили в реальном времени «видеть» за пользователя и подсказывать, куда направить камеру Google запустила Guided Vision в Gemini Live — функцию для незрячих и слабовидящих пользователей Android. Достаточно включить камеру, чтобы ИИ начал голосом описывать окружающее пространство. Gemini может прочитать мелкий текст, помочь найти нужный предмет и отвечать на уточняющие вопросы. Если объект не попал в кадр, ИИ сам подскажет, куда повернуть или передвинуть камеру. Функцию разрабатывали вместе с сообществом незрячих и слабовидящих людей. В тестировании участвовали более 1000 пользователей, а для обучения Gemini использовали десятки тысяч часов данных визуальной интерпретации. Источник