Lookiが生活理解モデルLoomを発表：知覚、経験、長期記憶を三層で処理

動察 Beating AI 速報、AIウェアラブルデバイス企業Lookiはマルチモーダルモデルシリーズ「Loom」を発表した。カメラとマイクで記録した日常生活を、時間・内容・元の証拠を備えた長期記憶として整理し、AIがいつでも検索できるようにする。

例えば、ユーザーが昼に同僚と食事をし、その間にプロジェクトについて議論し、最終的に金曜のデータが出てから決めることにしたとする。Loomは「食事」「会話」を識別するだけでなく、議論の内容、決定、その理由も記録しなければならない。数日後に再びこのプロジェクトの話になると、AIは当時の記録を呼び出せる。

Loomは3つの部分に分かれる：

Sense（知覚）：ユーザーが今何をしているかを継続的に判断する。専用に訓練された判別モデルを採用し、「食事中か」「会話中か」といった問いに直接スコアを付け、毎回テキスト記述を生成する必要がない。モデルは前の時間帯の状態も参照し、振り向きや遮蔽による活動認識の頻繁な変動を防ぐ。

Moment（経験）：異なる時間に収集した映像と音声を整合させ、ある経験がどこから始まりどこで終わるかを自動判断し、重要な事実・時間・対応する証拠を含む記述を生成する。会話内容に基づいて経験を区切ることができ、固定の長さで動画を分割するだけではない。

Memory（記憶）：経験を日・週・月の要約および長期記憶として整理する。質問に答える際、AIはまず要約を調べ、次に層をたどって具体的な経験を見つけ、必要に応じて元の映像や録音を見返して詳細を確認できる。

現在、Loomは依然として複数の専用モデルと記憶検索システムが連携して動作しており、将来的にこれらの能力をエンドツーエンドのマルチモーダルモデルにさらに統合する計画だ。

公式の自己テストでは、Senseは約20種類の日常活動を識別し、F1スコアは88.6、1回の判断にかかる平均時間は0.51秒だった。Momentは経験の開始・終了時刻の判断でGemini Flashを上回ったが、生成されるテキスト記述は依然として後者の方が正確だ。Memoryのスコアは79.0で、mem0より18点高く、1問あたりの平均処理Token量は後者のわずか14.5%だった。

LoomはまずLooki自社のウェアラブルデバイスに使用され、現在独立したモデルAPIは公開されておらず、モデルの重みもオープンソース化されていない。