「長文文脈」の記事一覧

• ZK-LSTM：長文の文脈保持を可能にする新アーキテクチャ

  2025-05-27 10:39

  科学・技術

  独立研究者Zack Kinsmanが提案したZK-LSTMは、従来のLSTMの記憶保持能力を大幅に拡張し、文書全体レベルの文脈を記憶・処理可能なリカレントアーキテクチャです。論文の本文内で引用元を明示する構造が特徴で、1万単語以上のスケールでも一貫した文脈管理が可能。外部メモリは使わず、トークンごとの帰納的な状態更新で処理を行う。Transformerとは異なる系列モデルの新しい可能性として注目されています。