긴 시퀀스 모델링의 병목은 단순히 “토큰이 많다”는 데 있지 않습니다. 먼 과거의 신호를 현재 출력에 전달하면서도, 학습 시 병렬성을 유지하고 추론 시 메모리 이동을 감당해야 합니다. Efficiently Modeling Long Sequences with Structured State Spaces는 이 문제를 상태공간모델(SSM)의 수학적 성질과 계산 구조를 함께 다루는 방식으로 풀려는 논문입니다. 핵심은 SSM 전체를 무작정 계산하는 것이 아니라, 상태 행렬을 구조화해 안정적으로 대각화하고 Cauchy 커널 계산으로 환원하는 것입니다.
이 글은 arXiv 공개 초록과 API 메타데이터를 근거로 합니다. 초록에 명시된 수치와 구성은 “논문이 보고한 결과”로 표현하며, 세부 하이퍼파라미터·코드 구현·전체 실험 절차는 확인하지 않은 범위로 남겨 둡니다.
상태공간모델(SSM)은 시퀀스 길이에 대해 거의 선형으로 확장될 수 있지만, 그것만으로 언어 모델링에서 attention을 대체하지는 못합니다. Hungry Hungry Hippos: Towards Language Modeling with State Space Models는 이 격차를 막연한 표현력 부족으로 묶지 않고 두 기능으로 나눕니다. 기존 SSM이 앞선 토큰을 정확히 회상하는 일과 시퀀스 안의 토큰을 서로 비교하는 일에 약하다는 것입니다. 이 논문은 그 진단 위에 H3 계층과 FlashConv 계산법, 그리고 일부 attention을 남긴 하이브리드 모델을 제안합니다.
이 글은 arXiv 초록과 공개 메타데이터만을 근거로 합니다. 아래의 수치와 모델 규모는 논문 초록이 보고한 결과이며, 세부 실험 설정과 구현 재현성은 원문 본문 확인이 필요합니다.
상태공간모델(SSM)은 긴 시퀀스를 선형 시간에 처리할 가능성이 있지만, 언어처럼 토큰의 의미에 따라 무엇을 기억할지 결정해야 하는 작업에서는 약점이 드러났습니다. Mamba: Linear-Time Sequence Modeling with Selective State Spaces는 이 문제를 “상태가 고정된 채 모든 입력을 같은 규칙으로 처리한다”는 관점에서 다시 봅니다. 제안은 간단한 문장으로 요약할 수 있습니다. 입력에 따라 SSM 파라미터를 바꾸어, 현재 토큰에 따라 정보를 선택적으로 전달하거나 잊게 하자는 것입니다.
이 초안은 arXiv 공개 초록과 메타데이터에서 확인되는 주장만 사용합니다. 모델 내부의 세부 블록 구성, 정확한 커널 구현, 각 실험의 조건은 원문 본문과 코드로 추가 검증해야 합니다.
긴 문장을 다루는 모델의 병목은 단순히 파라미터 수가 아니다. 학습에서는 긴 시퀀스의 모든 위치를 병렬로 처리해야 하고, 생성에서는 매 토큰마다 과거 정보를 읽어야 한다. Transformer는 강력한 전역 어텐션을 얻는 대신 시퀀스 길이에 따른 계산과 메모리 부담을 감수한다. Mamba 계열의 상태공간모델(SSM)은 recurrent state를 유지해 생성 시 상태 크기를 고정하려 하지만, 학습과 GPU 활용을 Transformer만큼 쉽게 설명하기 어렵다.
Tri Dao와 Albert Gu의 논문은 이 둘을 경쟁하는 상자처럼 놓지 않는다. 핵심 질문은 “SSM과 어텐션을 같은 구조적 언어로 표현할 수 있는가”다. 논문은 구조적 준반분리 행렬(structured semiseparable matrix)을 매개로 두 계열의 관계를 정리하고, 그 관점에서 Mamba-2의 핵심 계층과 SSD 알고리즘을 제안한다. 아래 내용은 arXiv 원문과 HTML의 초록·방법·실험 서술에 근거하며, 재현 코드 실행 결과를 추가한 글이 아니다.
Transformer는 모든 위치를 직접 비교하는 능력으로 언어 모델링의 표준이 됐지만, 생성 시 과거의 키와 값을 계속 보관해야 한다. 반대로 전통적인 순환신경망(RNN)은 토큰마다 상태 하나를 갱신하므로 추론 비용이 작지만, 시간축 병렬화와 대규모 학습이 어렵다. Griffin 논문은 이 대립을 “둘 중 하나를 고르는 문제”로 다루지 않는다. Hawk라는 gated linear recurrence와, Hawk에 local attention을 섞은 Griffin을 함께 제안해 서로 다른 시간 범위의 기억을 분담시킨다.
논문의 초록은 Hawk가 보고된 Mamba 성능을 넘고, Griffin이 Llama-2와 경쟁적인 성능을 6배 이상 적은 학습 토큰으로 달성했다고 보고한다. 또한 학습 중 Transformer와 비슷한 하드웨어 효율, 추론 중 낮은 지연과 높은 처리량, 학습 길이보다 긴 시퀀스에 대한 extrapolation을 주장한다. 다만 이 글은 초록과 원문 실험 조건을 근거로 쓰며, 외부 재현 결과나 새로운 비교를 추가하지 않는다.
Transformer가 긴 문맥을 처리하는 방식은 강력하지만, 생성할 때 과거 키와 값을 저장하고 읽는 비용이 따라온다. RWKV는 어텐션처럼 보이는 가중 평균을 recurrence로 계산해, 학습에서는 시간축 병렬화를 유지하고 생성에서는 토큰당 고정 크기 상태를 사용하는 방향을 택했다. “Eagle and Finch” 논문은 이 RWKV-4를 두 단계로 확장한다. Eagle(RWKV-5)은 벡터 상태를 다중 헤드 행렬 상태로 넓히고, Finch(RWKV-6)은 decay와 token shift를 입력에 따라 바꾼다.
원문 초록은 Eagle 네 모델(0.46B–7.5B)과 Finch 두 모델(1.6B, 3.1B)을 학습해 여러 벤치마크에서 경쟁적인 성능을 보였다고 보고한다. 또 1.12조 토큰 규모의 다국어 코퍼스, greedy matching 기반 토크나이저, Apache 2.0으로 공개된 모델과 코드를 소개한다. 이 글은 arXiv 2404.05892v4의 구조와 초록을 바탕으로 하며, “경쟁적”이라는 표현을 특정 모델의 보편적 우승으로 확대하지 않는다.
LSTM은 긴 의존성을 다루기 위해 게이트와 메모리를 도입했지만, 대규모 언어 모델의 시대에는 Transformer의 병렬 self-attention에 밀려났다. xLSTM의 질문은 단순하다. LSTM을 폐기하지 않고, 현대적인 안정화 기법과 하드웨어 친화적 계산을 결합하면 수십억 파라미터 규모에서도 경쟁 가능한가? 논문 초록이 제시하는 답은 “기존 LSTM을 그대로 키우는 것”이 아니라, 게이팅과 메모리 업데이트 자체를 확장하는 것이다.
긴 컨텍스트를 처리할 때 Transformer의 비용은 attention 계산의 증가와 KV cache의 메모리 부담으로 나타난다. 선형 모델은 이론상 더 나은 비용 구조를 제공하지만, 상태 추적과 하드웨어 효율에서 품질을 잃기 쉽다. Mamba-3가 겨냥하는 간극은 바로 여기다. 논문은 “선형 복잡도”라는 표어보다 추론 시 실제 데이터 이동과 상태 표현이 중요하다는 관점에서, 재귀식과 상태 업데이트를 다시 설계한다.
Mamba 계열의 매력은 긴 시퀀스를 고정 크기 상태로 처리하는 효율성이다. 그러나 이 압축 상태가 곧 보안 경계가 될 수 있다. Hidden State Poisoning Attacks against Mamba-based Language Models는 특정한 짧은 입력 구문이 모델의 은닉 상태를 부분적으로 덮어써, 이후 저장된 정보의 검색 능력을 무너뜨리는 현상인 Hidden State Poisoning Attack(HiSPA)을 연구한다. 이 글은 초록과 공개 메타데이터에 근거해 공격의 개념, 보고된 평가, 그리고 운영상 확인해야 할 질문을 정리한다.
선형 재귀 모델은 토큰을 읽으며 작은 상태를 갱신하므로, 긴 입력을 다루는 계산·메모리 비용에서 Transformer와 다른 선택지를 제공한다. 그러나 컨텍스트 안에 있는 특정 사실을 그대로 찾아 답해야 하는 상황에서는 약점이 드러난다. 모든 내용을 압축한 상태에서 “방금 앞에서 본 문자열을 정확히 복사하라”는 요구는 요약과 다른 문제이기 때문이다. Resona는 이 간극을 검색(retrieval)으로 메우려는 간단하고 확장 가능한 프레임워크를 제안한다.
