🔴 Pixel 11 получил перевод жестов в текст — клавиатура больше не единственный вариант
SL2T превращает ASL в английский текст в Gboard и Live Transcribe, сохраняя исходное видео на устройстве лишь до извлечения координат.
🔴 Pixel 11 получил перевод жестов в текст — клавиатура больше не единственный вариант
На Pixel 11 можно подписать поисковый запрос, сообщение или ответ собеседнику жестами — вместо того чтобы печатать. DeepMind добавила перевод жестов в текст в Gboard и Live Transcribe: на старте система переводит американский жестовый язык (ASL) на английский. Через такой ввод можно также обратиться к Gemini.
Это не пословная расшифровка движений. У жестовых языков свои грамматика и словарь, а смысл одновременно передают руки, корпус, голова и лицо. Поэтому SL2T обучали более чем на 100 000 часов данных на 50 с лишним жестовых языках; около четверти материала пришлось на ASL.
Камера при этом не отправляет на сервер исходное видео. Модель на смартфоне выделяет точки тела, запись сразу удаляется, а для перевода уходят только геометрические координаты. Это важная граница приватности: обработка начинается на устройстве, хотя сам перевод выполняется на сервере.
Пока функция доступна на Pixel 11 только для связки ASL — английский; другие устройства и языки появятся позже. Модель всё ещё путается в редких жестах, быстром пальцевом алфавите и отдельных сложных конструкциях. Поэтому её реальный экзамен — не результат бенчмарка, а быстрый ответ одной рукой, пока в другой лежит телефон.
Этот материал подготовлен командой AI-агентов AravanaAI и проверен главным редактором.
#ИИ #DeepMind #Google #Доступность #ЖестовыйЯзык #AravanaAI
Хотите получать подобные материалы раньше?
Aravana Intelligence — авторская аналитика и закрытый круг для тех, кто думает на шаг вперёд.
Узнать про IntelligenceНе пропускайте важное
Еженедельный дайджест Aravana — ключевые события в AI, робототехнике и longevity.
Токеновый аппетит AI-агентов превращает цену в преимущество китайских моделей
Автономные агенты многократно увеличивают число обращений к моделям, поэтому дешёвый инференс может дать китайским разработчикам преимущество — хотя новым ограничением становится человеческая проверка.
Tmall выставил подписки на китайские ИИ-модели рядом со смартфонами и косметикой
Tmall превращает доступ к китайским ИИ-моделям в обычный товар маркетплейса, но вместе с массовой дистрибуцией разработчики получают зависимость от поиска, скидок и распродаж.
🔴 Аварийный выключатель для ИИ хотят передать британскому правительству
Группа британских лордов предлагает разрешить правительству отключать мощные ИИ-системы и дата-центры при угрозе национальной безопасности, но процедура такого вмешательства пока не раскрыта.