Google DeepMind 12 августа 2026 года представила SL2T — модель перевода жестового языка в текст. Она уже используется в новых функциях Gboard и Live Transcribe на Pixel 11: пользователь показывает жесты перед камерой смартфона, а система выводит английский текст. На старте поддерживается американский жестовый язык, или ASL; другие устройства и языки компания обещает добавить позднее, но без конкретного графика.
Это важное уточнение к слову «многоязычная» в описании релиза. Модель обучали на данных более чем 50 жестовых языков, однако доступный пользователям продукт пока решает одну конкретную задачу — переводит ASL на английский. Google не объявляла универсальный переводчик для любых языковых пар и не утверждала, что текущая версия работает без ошибок.
Что именно выпустила Google DeepMind
SL2T расшифровывается как sign-language-to-text — «жестовый язык в текст». Модель получает последовательность движений человека и формирует текст по мере того, как пользователь показывает фразу. Такой потоковый режим нужен для диктовки и живого разговора: результат должен появляться с небольшой задержкой, а не после загрузки целой видеозаписи.
В Gboard новая функция позволяет использовать жесты там, где обычно открывается экранная клавиатура. В официальной публикации приведены примеры с поиском в интернете, подготовкой сообщения или документа и обращением к Gemini. В Live Transcribe человек может отвечать жестами во время разговора, не набирая каждую реплику вручную.
Первый запуск привязан к Pixel 11. Google пишет, что функция появится и на других устройствах, а дополнительные языки будут добавлены позднее. Это направление развития, а не гарантия поддержки конкретной модели телефона или жестового языка к определённой дате.
SL2T нельзя корректно описывать как распознавание отдельных жестов по словарю. Жестовые языки — самостоятельные естественные языки со своей грамматикой. Значение передают не только кисти рук, но и движения рук, корпуса, головы и лица, причём несколько сигналов могут идти одновременно. Поэтому системе требуется совместить компьютерное зрение с полноценным машинным переводом.
Как SL2T обрабатывает движение
Смартфон не отправляет исходное видео целиком в модель перевода. По описанию Google, локальная модель MediaPipe Holistic определяет координаты ключевых точек на теле человека. Исходный видеопоток после этого можно сразу отбросить, а на сервер передаётся последовательность геометрических координат.
Затем SL2T преобразует эту последовательность непосредственно в текст. В цепочке нет обязательного промежуточного слоя с глоссами — условными словесными обозначениями отдельных жестов, которые часто используют в исследованиях. Google объясняет такой выбор тем, что глоссы плохо передают нелинейную грамматику, выражение лица и пространственные конструкции.
Подход с координатами уменьшает объём и чувствительность отправляемых данных по сравнению с передачей сырого видео. Однако это не означает полностью локальную обработку: официальное описание прямо говорит, что координаты отправляются на сервер для перевода. Пользователю и организации всё равно стоит учитывать сетевую передачу данных и правила сервиса.
Для практического применения важна устойчивость не только к аккуратной демонстрации перед камерой. Команда отдельно работала над задержкой потокового перевода, ложным текстом при отсутствии жестов, поддержкой левшей и ситуацией, когда человек показывает жесты одной рукой, а второй держит телефон.
На каких данных обучали модель
По данным Google DeepMind, обучающий набор включает более 100 000 часов материалов на более чем 50 жестовых языках. Около четверти данных приходится на ASL. Точные доли остальных языков в публикации не перечислены.
Совместное обучение на разных языках, диалектах и уровнях владения языком должно помочь модели находить общие закономерности. Авторы сообщают, что в их экспериментах такой подход превзошёл модели, обученные на одном языке. Но из этого нельзя автоматически заключить, что качество одинаково для всех языков: публичная пользовательская функция пока открыта только для ASL → английский.
На тесте FLEURS-ASL в варианте sd-test модель получила 70 баллов BLEURT в режиме без дополнительного обучения на целевой задаче. Google называет SL2T самой сильной моделью перевода жестового языка по ключевым тестам. Это результат разработчика на конкретной методике, а не универсальная оценка точности в процентах.
В самой публикации показаны и ограничения. Среди примеров ошибок упомянуты редкие жесты, быстрое дактилирование, пассивные конструкции, описательные движения и время действия без достаточного контекста. Поэтому перевод полезно воспринимать как помощника, а не как безошибочную замену человеку-переводчику в ситуациях с высокой ценой ошибки.
Почему релиз отличается от прежних решений
Ранние устройства для распознавания жестов нередко строились вокруг перчаток с датчиками или распознавания ограниченного набора движений. Такой подход упускает лицо, положение корпуса, пространственные отношения и грамматику. Он может работать для заранее заданных команд, но не превращает жестовый язык в обычный текстовый ввод.
SL2T пытается решить более широкую задачу: увидеть движение всего верхнего тела, понять языковую конструкцию и сформировать естественный текст. Пользователь при этом работает с обычной камерой телефона, без специальной перчатки или отдельного датчика.
Не менее важно, что модель вышла за пределы исследовательской демонстрации. Она встроена сразу в два пользовательских интерфейса Android. Gboard превращает перевод в способ ввода, а Live Transcribe — в способ отвечать в разговоре. В обоих случаях ценность зависит не только от тестового балла, но и от задержки, устойчивости камеры и количества ошибок в реальной обстановке.
Разработка велась совместно командами Google DeepMind и Android. Компания также создала консультативный комитет AISLAC с участием организаций и специалистов из сообщества глухих. По заявлению команды, представители сообщества участвовали в сборе данных, пользовательских исследованиях и оценке влияния технологии.
Где функция может быть полезна
Самый очевидный сценарий — текстовый ввод без экранной клавиатуры. Пользователь может подписать сообщение, сформулировать поисковый запрос или надиктовать документ на ASL. Для человека, которому удобнее выражать мысли на жестовом языке, это снижает необходимость сначала переводить фразу в голове на письменный английский и затем печатать её.
Второй сценарий — разговор между человеком, использующим ASL, и собеседником, который не знает жестового языка. Live Transcribe показывает текстовый перевод ответа. При этом релиз не превращает телефон в полноценный двусторонний переводчик: в официальном анонсе речь идёт о направлении «жесты в текст», а генерация жестового языка названа будущей областью работы.
Третий сценарий — работа с цифровыми помощниками. Текст из Gboard можно отправить в Gemini или другое приложение так же, как текст, набранный на клавиатуре. SL2T здесь отвечает за ввод, а не за качество ответа внешней модели и не за выполнение действий без подтверждения пользователя.
В медицинской, юридической, финансовой и аварийной коммуникации автоматический перевод нельзя считать единственным надёжным каналом. Google показывает известные категории ошибок, а качество зависит от языка, темпа, ракурса, освещения и контекста. Для критически важного разговора нужен подходящий резервный способ связи или квалифицированный переводчик.
Как попробовать SL2T
На момент анонса функция доступна на Pixel 11 в Gboard и Live Transcribe без отдельной доплаты. Google не приводит в публикации полный список регионов, версий приложений и языковых настроек, поэтому наличие переключателя лучше проверять на конкретном устройстве после установки актуальных обновлений системы и приложений.
Для первого теста разумно выбрать короткую бытовую фразу и спокойную обстановку с хорошим освещением. После перевода нужно проверить имена, числа, отрицания и время действия: ошибка в одном таком элементе способна изменить смысл всей реплики. Затем можно попробовать более быстрый темп, дактилирование и работу одной рукой, чтобы понять реальные границы функции.
Если перевод используется в переписке, текст стоит просматривать перед отправкой. Координаты позы передаются на сервер, поэтому в рабочей организации также нужно проверить политику обработки данных и решить, для каких разговоров такой канал допустим.
SL2T показывает редкий для новостей об ИИ переход от лабораторной модели к конкретной функции доступности. Масштаб обучающих данных и прямой перевод из движения в текст выглядят сильной технической основой. Но оценивать релиз следует по фактическим границам: сейчас это ASL → английский на Pixel 11, с известными ошибками и серверной частью обработки.