Pokeeが1000万トークンモデルを発表、コンテキストは主流モデルの約10倍に

動察 Beating のモニタリングによると、AIエージェントスタートアップのPokee AIはPokee-Isaac 28Bを発表した。モデルのパラメータ総数はわずか280億だが、コンテキストウィンドウは1000万トークンに達する。現在の主流モデルの上限は約100万トークンであり、Isaacはその約10倍に近い。

Pokeeの自社テストでは、IsaacはRULER長文テストにおいて、25.6万から400万トークンまで一貫して95点前後を維持した。1000万トークンまで引き上げた後も、スコアは93.3を記録した。他の5つの比較モデルは200万トークン以降、有効な結果を返さなかった。

Pokeeは超長コンテキストを自社開発の「非純粋なDecoder-onlyアーキテクチャ」、つまり一般的な大規模モデルの純粋なデコーダー構造を完全には踏襲していないことに起因するとしている。ただし、技術レポートでは具体的なアーキテクチャ、アテンションメカニズム、およびメモリソリューションは公開されておらず、外部は現時点でそれがどのように実現されたかを判断できない。

Pokee AIは2024年に設立され、元Metaのアプリケーション強化学習責任者である朱哲清氏によって創業された。同社はPoint72 Venturesが主導する1200万ドルのシードラウンドを調達し、Qualcomm VenturesやSamsung NEXTなどが参加した。