Google DeepMindは8月12日、手話を直接テキストへ翻訳するモデル「SL2T」（sign-language-to-text）を公開した。ろう者・難聴者が、普段テキストを入力する場面でそのまま端末に向かって手話で表現できるようにするもので、メッセージの作成、ウェブ検索、AIアシスタントとのやり取りに使える。
学習データは10万時間を超え、50以上の手話をカバーする。うち約25%がアメリカ手話（ASL）で、ASLを対象とするFLEURS-ASLベンチマークではBLEURTスコア70を記録し、これまでの結果を上回ったとしている。入力側の処理にはオンデバイスの姿勢推定「MediaPipe Holistic」を使い、カメラ映像を端末内で幾何的な座標データに変換してからモデルに渡す。生の映像をそのまま外部へ送らない構成になっている。実利用を想定した最適化として、逐次入力に対する遅延の短縮、片手での手話、左利きの話者への対応が挙げられている。
技術的に大きいのは、gloss（グロス）と呼ばれる中間表記を挟まずにテキストへ変換している点だ。手話の機械翻訳では長く、手話の各要素を単語ラベルに置き換えたglossを経由する構成が使われてきたが、この方式はgloss付きの注釈データを人手で用意する必要があり、そこで表情や空間の使い方といった情報が落ちる問題も指摘されてきた。SL2Tはこの中間段階を省いている。
提供形態は研究成果の公開にとどまらない。SL2TはキーボードアプリのGboardと、音声を文字に起こすLive Transcribeの手話入力機能として動作し、まずPixel 11で利用できる。対応端末は順次拡大する予定で、追加費用はかからない。Google DeepMindはあわせて「AI Sign Language Advisory Committee（AISLAC）」を設置し、世界各国のろう者団体と共同で影響レポートを作成した。開発の優先順位や展開方法についての助言を受ける枠組みとしている。
日本の利用者にとっては、対応する手話の内訳が実質的な条件になる。50以上の手話を学習対象としているものの、その4分の1をASLが占めており、日本手話への対応水準について発表では触れられていない。Pixel 11から順次という提供計画も含め、日本語環境で使えるようになる時期は現時点で示されていない。
なお、カメラやマイクを使うAI機能に個人のデータをどこまで預けるかという観点は、別記事「個人情報とAI｜安全に使うための注意点」で整理している。
