独立研究者Zack Kinsmanが提案したZK-LSTMは、従来のLSTMの記憶保持能力を大幅に拡張し、文書全体レベルの文脈を記憶・処理可能なリカレントアーキテクチャです。論文の本文内で引用元を明示する構造が特徴で、1万単語以上のスケールでも一貫した文脈管理が可能。外部メモリは使わず、トークンごとの帰納的な状態更新で処理を行う。Transformerとは異なる系列モデルの新しい可能性として注目されています。