Googleが手話を入力方式に：Pixel 11でカメラに向かってタイピング可能に

動察 Beating のモニタリングによると、Google DeepMind は手話をテキストに変換するモデル SL2T を発表し、Pixel 11 の Gboard と Live Transcribe に組み込んだ。初回はアメリカ手話から英語への変換をサポートする。ユーザーはスマホに向かって手話を行うだけで、検索、メッセージ作成、ドキュメント入力、さらには Gemini への直接質問が可能になる。

SL2T は10万時間以上のデータでトレーニングされ、50以上の手話をカバーしており、そのうち約4分の1がアメリカ手話である。スマホはまず手、顔、体の姿勢座標を抽出し、その座標のみをサーバーに送信して翻訳する。元の動画はアップロードされない。